'21세기의 원유'로 불리는 빅데이터가 크게 화두가 된지 채 1년이 되지 않습니다. 하지만 올해 IT분야를 관통할 핵심단어임을 부인하는 사람은 없습니다. 민간, 공공, 학계 구분없이 빅데이터에 대한 관심을 크게 내비치고 있습니다.
삼성전자가 "소비자의 생각을 읽겠다"며 지난 정기 조직개편시 미디어솔루션센터 산하에 빅데이터 센터를 신설하겠다고 밝혔고, 현대자동차 역시 차량의 품질과 서비스 향상을 위해 빅데이터 사업을 본격화하기로 했습니다. 공공부문 역시 빅데이터를 창조경제 및 정부 3.0의 핵심동력으로 육성하기로 하며 빅데이터 산업 발전전략을 발표했습니다. 학계는 서울대 빅데이터 센터 등을 중심으로 빅데이터에 대한 연구를 활발히 진행하고 있습니다.
초점은 기술에 맞춰져 있습니다. 빅데이터는 수억건에서 수백억건의 비정형 데이터를 통해 의미있는 정보를 찾아내고 활용하는 데 목적을 두고 있습니다. 병렬처리가 필수적이고 그 기반기술에 맵리듀스, 하둡과 같은 기술이 중요합니다. 정보기술의 발전이 빅데이터에 대한 수요를 자극하는 것이 사실입니다. 하지만 지금의 빅데이터에는 어디에도 사용자에 대한 이야기가 없습니다.
일반적으로 시스템 개발 프로젝트의 주체는 컨설팅회사, 시스템 설계자, 개발자, 사용자로 구성됩니다. 컨설팅회사는 시스템 개발에 필요한 이론적 기반을 제공하고, 시스템 설계자는 사용자의 요구사항을 분석해서 알고리즘과 로직을 설계하고 개발자에게 개발을 의뢰합니다. 사용자는 개발된 시스템을 업무에 사용하게 됩니다. 핵심주체는 사용자입니다. 아무리 멋진 시스템이라고 해도 사용자로부터 외면받아서는 의미가 없기 때문입니다.
시스템은 ERP와 같이 트랜잭션 데이터를 처리하기 위한 시스템과 BI 등과 같이 처리된 데이터를 가공하고 분석하기 위한 시스템으로 구분됩니다. 빅데이터 관련 시스템은 후자라고 할 수 있습니다. 다만, 데이터의 양이 많고(Volume), 다양하며(Variety), 빠르게 생성(Velocity)된다는 것을 특징으로 하고 있습니다. 이것을 빅데이터의 '3V'라고 합니다.
이처럼 데이터 분석을 위한 여러가지 시스템을 경험해 보았습니다. 입사초기에는 6시그마가 회사전체에 퍼져 있었습니다. 객관적이고 공정한 성과평과를 위한 BSC(Balanced Score Card)도 구축되어 있었고, 공장의 주요 생산지표를 한 눈에 볼 수 있는 대시보드(Dashboard)도 있었습니다. 하지만 형식적으로 사용했을 뿐 이러한 시스템에 빠져보지는 못했습니다. 또한, 완료된지 6개월 밖에 되지 않은 BI(Business Intelligence) 시스템이 전혀 사용되지 못하고 사장되는 사례도 지켜보았습니다.
빅데이터가 이런 전철을 밟지 않기 위해서는 두 가지 조건을 만족해야 합니다. 우선 사용자의 입장에서 쉬워야 합니다. 빅데이터는 수요예측에서 부터 공정혁신에 이르기까지 기업 가치사슬의 전반에 사용될 수 있습니다. 일반적인 직장인이 현업업무에 빅데이터를 사용해야 할 일은 거의 없을 것입니다. 하지만 '이거 좋은데?' 정도의 관심이라도 불러일으키기 위해서는 우선 쉬워야 합니다. '단 한 번의 클릭'으로 원하는 분석결과가 쏟아져 나와야 사용자로부터 관심을 받습니다.
다음으로 지금 하는 작업을 즉시 개선시킬 수 있을 정도의 직관적인 결과를 제시할 필요가 있습니다. 결국, 빅데이터의 목적은 효과와 효율입니다. 더 적은 자원을 투자해서 더 높은 결과를 달성하거나, 동일한 자원을 투입해서 빠르게 목표를 달성할 수 있어야 한다는 말입니다. 우리는 모두 바쁩니다. 지금 당장 해야하는 일들이 산적해 있습니다. 그 관심을 새로운 시스템에 돌리기 위해서는 사용자가 원하는 정보를 사용자의 입장에서 사용자의 입맛에 맛게 제시해야 합니다.
빅데이터 산업 발전전략에 따르면 2017년 까지 세계시장은 연평균 35.3%의 성장률을 보이며, 국내시장은 연평균 28.8%의 성장세를 이룰 것으로 전망했습니다. 빅데이터 산업이 이러한 전망에 따라 성장하려면 먼저 사용자에서 초점을 맞추는 것이 필요합니다.
