4차 산업혁명 용어백과사전 ⑤ - 빅데이터는 무슨인가? 봅시다

>

>

빅데이터는 스토리 당신으로 기존의 방식으로는 처리할 수 없을 정도로 큰 규모의 데이터입니다. 보통 사용하는 USB를 기준으로 보면 쉽게 짐작할 수 있다. 최근 USB의 용량은 GB(기가 바이트)단위이지만 그것의 약 하나 000배가 TB(테라 바이트)인, TB의 약 하나 000배가 PB(페타 바이트)입니다. 일반적으로 빅데이터는 수십 테라바이트의 요령은 페타바이트 이상의 데이터를 줄인다. 그리고 빅 데이터의 특성은 3V로 알려진 규모(Volume), 다양성(Variety)속도(Velocity)외에 요즘에는 가치(Value), 정확성(Veracity)을 더하고 5V로 부르기도 한다.빅데이터의 형태는 정형화된 것뿐 아니라 동영상, 사진, SNS 데이터 등 비정형 데이터 등 다양한 종류가 있다. 속도는 데이터가 축적되고 처리되며 전송되는 시간을 줄인다. 점차 핀테크, 사물인터넷, 스트리밍 데이터와 함께 실시간성을 요구하는 일이 많아지면서 속도가 중요한 특성으로 꼽힌다.빅 데이터의 프로세스는 데이터의 수집, 정제, 분석, 정보화, 활용의 5단계로 구성된다. 수집 단계에서 원시 데이터를 최대한 모으고 이어 정형 데이터와 비정형 데이터 그리고 이 2가지가 섞인 반 정형 데이터로 구분하는 정제 과정을 거친다. 분석 단계에서는 ETL라 부르는 데이터 추출(Extraction), 변환(Transformation), 로드(Loading)에 의해 데이터를 이용하기 쉬운 형태로 바꾼다. 이 과정에서 대용량의 비정형 데이트를 빠르게 분석하기 위해 하둡(Hadoop), 맵리듀스(MapReduce)와 같은 분산병렬처리 기술이 사용된다.

빅데이터의 성공사례로 빠짐없이 등장하는 회사가 있다. 첫 997년 DVD렌탈을 시작으로 세계 최고의 스트리밍 서비스 중소 기업이 된 넷플릭스(Netflix)가 그 주인공이다. 넷플릭스의 성공 방법은 데이터를 분석해 고객 개개인이 나쁘지 않을 영화를 추천하는 것이다. 시네매치(Cinematch)라는 영화 추천 알고리즘을 이용하여 개인별 취향에 맞는 서비스를 제공합니다.넷플릭스의 고객들이 시청하는 영화 중 75퍼센트가 시네 매치가 추천한 영화라는 정도다. 넷플릭스가 추천 알고리즘의 성능을 높이기 때문에 첫 00만달러의 상금을 걸고 2009년부터 3년간'Netflix Prize'이라는 대회를 열기도 했다. 콘텐츠 제작에도 빅데이터를 적용해 큰 성공을 거뒀다. 기획에서 연출, 주연 배우 선정까지 고객 개인의 취향을 반영하고 제작한 하우스 오브 카드(House of cards)는 3개의 에미상(Emmy Awards)을 수상하는 기록을 세웠다. 빅데이터로 무장한 넷플릭스는 세계 IT업계 리더를 일컫는 FANG(Facebook, 아마존, 넷플릭스, 구글)에 이름을 올렸다.* 알고리즘(Algorithm) : 사건을 해결하기 위해 구체적으로 계산하는 절차가 나쁘지 않기 때문에 방법을 말합니다. 알고리즘이라는 단어는 컴퓨터가 사용되었으며, 예로부터 유사한 단어인 알고리즘(Algorism)은 산법, 기수법, 플루잇법이라고도 불린다. 알고리즘(alforithm)이라는 단어는 알고리즘(Algorism)에서 파생된 단어이다. [네이버 지식 백과]알고리즘(대한 수학회 수학 백과, 20최초 5)금융 분야도 빅 데이터를 이용한 다양한 시도가 이루어지고 있다. 구글 CIO 출신이 설립한 제스트파이낸스(ZestFinance)는 빅데이터를 분석해 신용등급이 낮은 고객에게 단기대출을 해주는 회사다. 1반 은행은 20~30개 정도의 변수에 개인의 신용을 평가하는 것에 대해서 제스트 파이낸스는 첫 만개 이상의 변수로 빅 데이터 알고리즘을 구축하고 신용도를 분석하고 대출을 결정하는 것입니다. 고객의 SNS 포스팅 예기, 인터넷 사용 이력은 물론 대출 신청서 작성 시 대소문자를 정확히 사용했는지까지 알아본다.China의 3대 IT중소 기업으로 불리는 알리바바(Alibaba), 바이두(Baidu), 텐센트(Tencent)도 빅 데이터 산업의 다크 호스로 떠오르고 있다. 알리바바의 마윈 회장은 지금이 IT(Information Technology)를 넘어 DT(Data Technology)의 시대라며 데이터로 가치를 창출하는 것이 핵심 경쟁력이 될 것이라고 선언했다. 이미 알리바바는 쇼핑몰 무바 1결제, 대출, 펀드 등 전 사업 영역에 빅 데이터를 활용하여 DT시대를 주도하고 있다. China 검색 최대 업체 바이두는 인공지능(AI), 빅데이터(Big Data), 클라우드(Cloud)를 하나로 묶는 ABC 전략으로 글로벌 플랫폼 중소기업을 꿈꾸고 있다. 한편 9억 3천만명의 가입자를 자랑하는 텐센트는 빅 데이터를 활용하고 핀 테크의 돌풍을 1우쿄쯔다. 이 회사가 설립한 China첫호 인터넷 은행인 데 은행(WeBank)는 고객이 무바 1에서 대출을 신청하면 빅 데이터를 분석하고 2.4초 만에 대출 심사를 마치고 40초 만에 입금을 준다. 빅데이터는 China가 한발 앞서 있는 귀추이다. 국내에서는 개인정보보호법, 정보통신망법, 신용정보법 등 빅데이터 관련 규제가 산재해 있어 별 성과를 찾기 어렵다.

김지영 R&D경영 연구소 소장 jyk9088@gmail.com

참고 문헌-빅 데이터 분석의 국내외 활용 현황과 시사점, KISTEP-4차 산업 혁명 시대의 데이터 경제 활성화 전략, KISDI-빅 데이터 산업의 부상 및 시사점, 산은 연구 월보-빅 데이터, 그 두번째 이이에키, 신영 증권-'2개세기 석유, 빅 데이터'... 선진국은 정부의 산업으로 육성, 조선 비즈-빅 데이터 시대의 데이터 융합, KISDI-빅 데이터는 버블이다, 김동환-'AI시대의 원유'데이터 확보 전, 머니 투데이-'2개세기 석유'빅 데이터...소유권 전쟁 불붓 본인 중앙 1발-"빅 데이터와 파리 통잉카?"구성 요소와 기반 기술의 이해, ITWorld과학 커뮤니케이션의 웹 매거진은 여성과 이를 수행하는 과학 커뮤니케이션 사업의 1환으로 여성 과학 기술인 주도로 국내외 신규 과학 커뮤니케이션 문제 발굴하고 올바른 과학 기술 정보 하복을 목적으로 하고 있다 슴니다.본 웹진은 과학기술정보통신부와 대한민국연구재단의 여성과학기술인 육성·지원사업의 지원을 받아 제작되었습니다.