๋ณธ๋ฌธ ๋ฐ”๋กœ๊ฐ€๊ธฐ
๐Ÿ–ฅ๏ธ IT, ์ปดํ“จํ„ฐ

๋ฐ์ดํ„ฐ ๋ถ„์„ ๊ณผ์ •

by Young's Th!nkTech 2024. 7. 3.

๋ฐ์ดํ„ฐ ๋ถ„์„์€ ๋ฐ์ดํ„ฐ ๋ถ„์„ ์„ค๊ณ„ → ๋ฐ์ดํ„ฐ ์ค€๋น„ → ๋ฐ์ดํ„ฐ ๊ฐ€๊ณต → ๋ฐ์ดํ„ฐ ๋ถ„์„ → ๊ฒฐ๋ก  ๋„์ถœ ๊ณผ์ •์œผ๋กœ ์ด 5๋‹จ๊ณ„์˜ ๊ณผ์ •์„ ๊ฑฐ์นœ๋‹ค.


1๋‹จ๊ณ„ : ๋ฐ์ดํ„ฐ ๋ถ„์„ ์„ค๊ณ„ํ•˜๊ธฐ

 ๋ฐ์ดํ„ฐ ๋ถ„์„ ์„ค๊ณ„๋Š” ๋ฐ์ดํ„ฐ ๋ถ„์„ ํ”„๋กœ์ ํŠธ์˜ ์ฒซ ๋ฒˆ์งธ ๋‹จ๊ณ„๋กœ, ์ „์ฒด ๋ถ„์„ ๊ณผ์ •์˜ ์„ฑ๊ณต ์—ฌ๋ถ€๋ฅผ ์ขŒ์šฐํ•˜๋Š” ์ค‘์š”ํ•œ ๋‹จ๊ณ„์ด๋‹ค. ์ด ๋‹จ๊ณ„์—์„œ๋Š” ๋ถ„์„์˜ ์ „๋ฐ˜์ ์ธ ๋ฐฉํ–ฅ์„ ์„ค์ •ํ•˜๊ณ , ์‚ฌ์šฉํ•  ๋ฐฉ๋ฒ•๋ก ์„ ๊ฒ€ํ† ํ•˜๋ฉฐ, ๊ฐ€์„ค์„ ์„ค์ •ํ•œ๋‹ค.
 ์ฒ ์ €ํ•œ ๋ฐ์ดํ„ฐ ๋ถ„์„ ์„ค๊ณ„๋Š” ์ดํ›„์˜ ๋ฐ์ดํ„ฐ ์ค€๋น„, ๊ฐ€๊ณต, ๋ถ„์„ ๋ฐ ๊ฒฐ๋ก  ๋„์ถœ ๊ณผ์ •์—์„œ ํšจ์œจ์ ์ด๊ณ  ์ •ํ™•ํ•œ ๊ฒฐ๊ณผ๋ฅผ ์–ป๋Š” ๋ฐ ์ค‘์š”ํ•œ ์—ญํ• ์„ ํ•œ๋‹ค. ๋ช…ํ™•ํ•œ ๋ฐฉํ–ฅ์„ฑ๊ณผ ๋ชฉํ‘œ๋ฅผ ์„ค์ •ํ•˜๊ณ , ์ ์ ˆํ•œ ๋ฐฉ๋ฒ•๋ก ์„ ์„ ํƒํ•˜๋ฉฐ, ๊ฒ€์ฆํ•  ๊ฐ€์„ค์„ ์„ค์ •ํ•จ์œผ๋กœ์จ, ๋ฐ์ดํ„ฐ ๋ถ„์„ ํ”„๋กœ์ ํŠธ์˜ ์„ฑ๊ณต ๊ฐ€๋Šฅ์„ฑ์„ ๋†’์ผ ์ˆ˜ ์žˆ๋‹ค.

2๋‹จ๊ณ„: ๋ฐ์ดํ„ฐ ์ค€๋น„ํ•˜๊ธฐ

 ๋ฐ์ดํ„ฐ๋ฅผ ์ค€๋น„ํ•  ๋•Œ๋Š” ํ•„์š”ํ•œ ๋ฐ์ดํ„ฐ ํ•ญ๋ชฉ๊ณผ ๋ฐ์ดํ„ฐ์˜ ์œ„์น˜์— ๋”ฐ๋ผ ๋ฐ์ดํ„ฐ๋ฅผ ์ค€๋น„ํ•˜๋Š” ๋ฐฉ๋ฒ•์ด ๋‹ค์–‘ํ•˜๋‹ค. ์ค€๋น„๋œ ๋ฐ์ดํ„ฐ๋Š” ์ดํ›„์˜ ๋ถ„์„ ๊ณผ์ •์—์„œ ๋งค์šฐ ์ค‘์š”ํ•œ ์—ญํ• ์„ ํ•œ๋‹ค. 
 1์ฐจ ๋ฐ์ดํ„ฐ ํš๋“ : ์ง์ ‘ ํ˜„์žฅ์—์„œ ๋ฐ์ดํ„ฐ๋ฅผ ์ˆ˜์ง‘ํ•˜๊ฑฐ๋‚˜, ์„ค๋ฌธ์กฐ์‚ฌ, ์ธํ„ฐ๋ทฐ ๋“ฑ์„ ํ†ตํ•ด ๋ฐ์ดํ„ฐ๋ฅผ ์–ป๋Š” ๋ฐฉ๋ฒ•.

๋ฐ์ดํ„ฐ์˜ ์‹ ๋ขฐ์„ฑ๊ณผ ์ •ํ™•์„ฑ์„ ๋†’์ผ ์ˆ˜ ์žˆ์ง€๋งŒ, ์‹œ๊ฐ„๊ณผ ๋น„์šฉ์ด ๋งŽ์ด ๋“ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

 2์ฐจ ๋ฐ์ดํ„ฐ ํš๋“ : ์ด๋ฏธ ์กด์žฌํ•˜๋Š” ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค, ๊ณต๊ณต ๋ฐ์ดํ„ฐ, ์—ฐ๊ตฌ ์ž๋ฃŒ ๋“ฑ์„ ํ™œ์šฉํ•˜๋Š” ๋ฐฉ๋ฒ•
์ด ๋ฐฉ๋ฒ•์€ ์‹œ๊ฐ„๊ณผ ๋น„์šฉ์„ ์ ˆ๊ฐํ•  ์ˆ˜ ์žˆ์ง€๋งŒ, ๋ฐ์ดํ„ฐ์˜ ํ’ˆ์งˆ์ด๋‚˜ ์ ํ•ฉ์„ฑ์„ ๊ฒ€ํ†  ํ•„์š”์„ฑ์ด ์žˆ์Œ. 

3๋‹จ๊ณ„ : ๋ฐ์ดํ„ฐ ๊ฐ€๊ณตํ•˜๊ธฐ

์›์‹œ๋ฐ์ดํ„ฐ(Raw Data)๋ฅผ ์›ํ•˜๋Š” ํ˜•ํƒœ๋กœ ์ฒ˜๋ฆฌํ•˜๋Š” ๊ณผ์ •์ด๋‹ค.  ๋ถˆํ•„์š”ํ•œ ๋ณ€์ˆ˜๋ฅผ ์ œ๊ฑฐํ•˜๊ณ  ํ•„์š”ํ•œ ๋ณ€์ˆ˜์˜ ๋ฐ์ดํ„ฐ๋งŒ ์ถ”์ถœํ•œ๋‹ค. ๋˜ํ•œ ๊ธฐ์กด ๋ณ€์ˆ˜ ๋ฐ์ดํ„ฐ๋ฅผ ์—ฐ์‚ฐํ•˜์—ฌ ์กฐ๊ฑด์— ๋งž๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ๊ตฌ์„ฑํ•  ์ˆ˜ ์žˆ๋‹ค.
๋‹จ์ผ ๋ฐ์ดํ„ฐ ์„ธํŠธ๋กœ ๊ฐ€๊ณตํ•  ์ˆ˜๋„ ์žˆ์ง€๋งŒ, ์—ฌ๋Ÿฌ ๋ฐ์ดํ„ฐ ์„ธํŠธ๋ฅผ ๋ณ‘ํ•ฉํ•˜๊ฑฐ๋‚˜ ์ถ”์ถœํ•˜์—ฌ ์ƒˆ๋กœ์šด ๋ฐ์ดํ„ฐ ์„ธํŠธ๋ฅผ ์ƒ์„ฑํ•  ์ˆ˜๋„ ์žˆ๋‹ค.

4๋‹จ๊ณ„ : ๋ฐ์ดํ„ฐ ๋ถ„์„ํ•˜๊ธฐ

๋ฐ์ดํ„ฐ ๊ฐ€๊ณต์„ ๊ฑฐ์ณ ์ค€๋น„ํ•œ ๋ฐ์ดํ„ฐ๋ฅผ ์ด์šฉํ•˜์—ฌ ๋‹ค์–‘ํ•œ ๋ถ„์„์„ ์‹œํ–‰ํ•˜๋Š” ๊ณผ์ •์ด๋‹ค. ๋ฐ์ดํ„ฐ๋ฅผ ๋”์šฑ ๊นŠ์ด ์ดํ•ดํ•˜๊ณ , ์œ ์˜๋ฏธํ•œ ํ†ต์ฐฐ์„ ์–ป๊ธฐ ์œ„ํ•ด ์—ฌ๋Ÿฌ ๊ฐ€์ง€ ๋ถ„์„ ๊ธฐ๋ฒ•์„ ํ™œ์šฉํ•œ๋‹ค.
๋ฐ์ดํ„ฐ์˜ ํŒจํ„ด ๋ฐ ๋ถ„ํฌ๋ฅผ ํ™•์ธํ•˜๊ธฐ ์œ„ํ•ด ๊ทธ๋ž˜ํ”„๋ฅผ ํ†ตํ•ด ์‹œ๊ฐํ™”ํ•œ๋‹ค. ์ด๋ฅผ ํ†ตํ•ด ๋ฐ์ดํ„ฐ์˜ ํŠน์„ฑ๊ณผ ๋ถ„ํฌ๋ฅผ ์‰ฝ๊ฒŒ ํŒŒ์•…ํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ๋ถ„์„ ๊ฒฐ๊ณผ๋ฅผ ๋ช…ํ™•ํ•˜๊ฒŒ ์ „๋‹ฌํ•  ์ˆ˜ ์žˆ๋‹ค. 

 

5๋‹จ๊ณ„ : ๊ฒฐ๋ก  ๋„์ถœํ•˜๊ธฐ

 ๋ฐ์ดํ„ฐ ๋ถ„์„ ๊ณผ์ •์˜ ๋งˆ์ง€๋ง‰์œผ๋กœ, ๋ชจ๋“  ๋ถ„์„์˜ ๊ฒฐ๊ณผ๋ฅผ ์ข…ํ•ฉํ•˜๊ณ  ํ•ด์„ํ•˜๋Š” ๋‹จ๊ณ„์ด๋‹ค.

 


์š”์•ฝ

๋ฐ์ดํ„ฐ ๋ถ„์„ ์„ค๊ณ„ : ์–ด๋–ค ์ฃผ์ œ์— ๋Œ€ํ•ด ๋ถ„์„์„ ์–ด๋–ป๊ฒŒ ํ• ์ง€ ๊ณ„ํš ์„ธ์šฐ๊ธฐ

๋ฐ์ดํ„ฐ ์ค€๋น„ : ๋ถ„์„์— ํ•„์š”ํ•œ ๋ฐ์ดํ„ฐ๋ฅผ ์ˆ˜์ง‘ํ•˜๊ณ  ํŒŒ์•…ํ•˜๊ธฐ

๋ฐ์ดํ„ฐ ๊ฐ€๊ณต : ๋ถˆํ•„์š”ํ•œ ๋ณ€์ˆ˜๋ฅผ ์ œ๊ฑฐํ•˜๊ณ  ๋ถ„์„์— ํ•„์š”ํ•œ ๋ฐ์ดํ„ฐ๋กœ ๋ณ€ํ™˜

๋ฐ์ดํ„ฐ ๋ถ„์„ : ํ†ต๊ณ„์™€ ์‹œ๊ฐํ™” ๋“ฑ ๋‹ค์–‘ํ•œ ๋ถ„์„ ๋ฐฉ๋ฒ•์„ ์ ์šฉ

๊ฒฐ๋ก  ๋„์ถœ : ๊ฐ€์„ค์„ ๊ฒ€์ •ํ•˜๊ณ  ๊ฒฐ๊ณผ๋ฅผ ์ •๋ฆฌ

 


๋ฐ์ดํ„ฐ ๋ถ„์„ ์„ค๊ณ„

  • ๋ฐฉํ–ฅ์„ฑ ๊ธฐํš
  • ๋ฐฉ๋ฒ•๋ก  ๊ฒ€ํ† 
  • ๊ฐ€์„ค ์„ค์ •

๋ฐ์ดํ„ฐ ์ค€๋น„

  • ๋ฐ์ดํ„ฐ ํ™•๋ณด ๋ฐ ์ค€๋น„
  • ๋ฐ์ดํ„ฐ ํŒŒ์•…

๋ฐ์ดํ„ฐ ๊ฐ€๊ณต

  • ์ถ”์ถœ ๋ฐ ์ •์ œ
  • ํŒŒ์ƒ ๋ณ€์ˆ˜ ์ƒ์„ฑ
  • ๋ฐ์ดํ„ฐ ๋ณ‘ํ•ฉ

๋ฐ์ดํ„ฐ ๋ถ„์„

  • ํ†ต๊ณ„ ๋ถ„์„
  • ๊ทธ๋ž˜ํ”„ ๋ฐ ์‹œ๊ฐํ™”

๊ฒฐ๋ก  ๋„์ถœ

  • ๋ถ„์„ ๊ฒฐ๊ณผ ๋ฐ ํ•ด์„
  • ๋ถ„์„ ๊ฒฐ๊ณผ ์ •๋ฆฌ