빅데이터 산업의 발전과 클라우드(인프라 중심)의 역할
?지능정보사회연구소 / 조흥재 부소장
전 세계적으로 빅데이터에 대한 산업적 확대와 데이터 거래 활성화를 촉진하기 위해 여러 방법이 시도되고 있으며, 여러 형태의 거래소의 등장뿐만 아니라 일부 국가에서는 정부가 주도하는 거래 모형을 중심으로 빅데이터 시장을 선점하기 위해 빠른 움직임을 보이고 있다. 아직까지 빅데이터 산업은 성공적인 레퍼런스를 찾기 어렵고 향후 우위선점을 도모하기 위한 국가별 경쟁이 치열해질 것으로 예상된다.
국외와 마찬가지로 국내에서도 빅데이터에 대한 이슈가 확대되어 정부 및 민간부문에서 국내 환경에 맞는 데이터 거래 모형을 찾기 위한 연구과 컨설팅 등이 활발히 진행되고 있다. 특히, 4차 산업혁명 중장기 전략인 ‘혁신성장을 위한 사람 중심의 4차 산업혁명 대응계획(’17.11월)‘ 발표 이후 데이터의 활용성을 증대 시킬 수 있는 규제센드박스 도입 등 빅데이터 산업 관련 분야의 정책적 활동들이 확대되고 있다.
이에 따라, 본고에서는 국내 빅데이터 산업의 발달에 따른 클라우드의 역할을 제시하여 클라우드 산업 영역 확대와 성장을 도모할 수 있는 전략적 방향을 고민해 보고자 한다.
국가별 빅데이터 거래소 현황
우선 국가별 빅데이터 거래소 현황과 특이점들을 살펴보고 빅데이터 생태계 측면의 접근을 통해 클라우드 전략적 공략 부문을 모색해 보고자 한다.
< 해외 주요국 데이터거래 관련 추진 현황 >
| 구분 | 추진형태 | 현황 | 대표 사이트 |
| 미국 | 민간 | 데이터 브로커 산업 중심 활성화 | Acxiom, Datalogix |
| 중국 | 국가, 민간, 지자체+민간 | 다양한 형태의 거래소 조성 및 데이터 거래 진행 | 구이양빅데이터거래소, 상해데이터거래소 |
| 일본 | 정부+민간 | 민간 주도적 데이터 거래 진행 | DPA, EverySense, Wagri |
현재 데이터 거래에 대한 국가별 주요 특징은 아래와 같다.
- (미국) 데이터 브로커 사업(제3자에 의한 데이터 수집?판매 대행)을 중심으로 민간이 주도하는 활발한 데이터 거래 환경을 조성하고 있으나, 소비자의 자기 정보인지 및 정보주체의 통제권 확보 어려움 등의 한계 발생 중
※ 데이터 상업적 매매권, 데이터 사업자의 권리와 의무, 데이터 제공자의 책임 제한 등 법적 토대 마련을 위한 공적 개입의 필요성 대두
- (중국) 삼원화(국가, 민간, 지자체+민간)된 데이터 시장형태가 공존하며, 사회주의 국가의 특징(정부 주도)과 데이터 거래(자유시장원칙-민간주도 및 민관 협력)의 특징을 지니는 다양한 형태의 데이터 거래소가 생성중
- (일본) 총무성의 Active Data 전략 발표 후, 정부와 민간 합동의 데이터 활용정책을 추진 중이나, 데이터 거래시장은 민간에서 주도하여 진행 중
※ 민간에서 데이터 플랫폼 공유 및 데이터 거래를 위한 기반 준비를 위해 다양한 업체들이 데이터 거래사업에 참여하는 것이 특징
- (한국) 데이터 활용(수집, 통합 및 축적 등)을 위한 공공 및 민간 기업들의 움직임에 반해 데이터 가격 및 구매 기준 부재, 데이터 활용에 대한 인식부족 등 장애요인이 존재하여 투자대비 데이터 거래 환경이 비활성화 상태
?(정책동향) ‘13년 공공데이터 제공 및 이용활성화 법률 시행 후, 데이터 바우처 사업 및 공공데이터포털 등 정부 정책 지원을 추진 중이나, 개인정보보호법 등 걸림돌로 인해 실 활용가치가 높은 민간 데이터 공급의 한계 발생
?(시장동향) 제한적인 데이터 판매 채널에 의한 데이터 판로가 부족하고 데이터 가공·분석 등 전문 인력의 부족으로 데이터 유통 확산 한계 발생
※ 데이터 거래 주요 핵심요인인 데이터 품질 및 가치 산정 기준, 낮은 복제 비용 및 데이터 거래 비용의 모호성 등의 문제점 해결 필요
앞에서 살펴본 바와 같이 데이터 거래 시장은 민간이 주도하는 경우 정부가 주도하는 경우 민-관이 협력하는 경우 등 세 가지 형태로 구분되고 각각의 특성을 보인다. 현재 국내의 경우 몇몇의 민간 거래소를 통한 민간 데이터의 거래와 공공데이터 개방에 의한 공공데이터 거래가 소규모로 진행되고 있으나 법·제도적 환경, 양질의 데이터의 부재, 데이터간 융?복합의 어려움 등으로 활발한 거래가 이뤄지지 못하고 있는 실정이다.
다음은 빅데이터 시장을 이루고 있는 생태계 측면을 들여다보면, 시스템적인 측면과 데이터 거래 플랫폼 적인 측면으로 구분해 볼 수 있으며, 데이터 수집-가공-분석-서비스 제공으로 구분해 볼 때 다음 그림과 같이 분야별 기업들이 활동하고 있는 것으로 나타난다.
빅데이터의 경우 데이터가 누적될수록 용량이 방대해져 테라바이트(TB), 페타바이트(PB), 엑사바이트(EB) 등의 크기로 빠르게 증가할 수 있다. 특히, 데이터의 수집에 의한 증가분 외에도 데이터분석의 신뢰도 향상을 위해 시계열자료로 축적하거나 IoT 등의 실시간 센서링 데이터의 축적 등도 기하급수적인 데이터의 증가를 가져온다. 이에따라, 빅데이터 활용을 준비중인 기업 등에서는 빅데이터 플랫폼 구축을 위해 인프라 측면에서 온프레미스 방식과 클라우드 방식에 대해 비교하교 선택해야 하는 고민이 필요한 이유이기도 하다.
클라우드는 인프라 측면에서 온프레미스 방식과 비교할 때 장점과 단점이 공존한다.
< 온프레미스 방식과 클라우드 방식의 장단점 비교 >
| 구분 | 온프레미스 | 클라우드 |
| 비용 | (하드웨어) 서버장비, 네트워크 장비, 랙, 케이블, UPS, 항온항습기 등 (SI) 하드웨어 설치 인력 등 (운영비) 전기료, 임대비 등 | (사용료) 월단위/트랜젝션 단위별 클라우드 이용료 |
사용성 및 효율성 | 설치 및 유지보수 기간 필요 서버 연산 | 서비스 신청 및 수분내 구축 서버리스 연산 |
확장성 및 유연성 | 구축 규모에 대한 명확한 예측 필요 구축 후 규모변경이 어려움 | 단계별 확장이 가능 |
| 통제용이성 | 관리 주체가 모든 부문 통제 가능 | 서비스 제공자에 락인(Lock-In) 효과가 강함 |
비용의 경우 클라우드 사용료가 천차만별이기 때문에 단순화해서 비교해보면 온프레미스의 경우 하드웨어 구입 및 구축비가 가장 큰 부분을 차지하고 월별 운영비는 초기투자비용에 비해 매우 작은 부분을 차지하고 있다. 클라우드 이용료는 하드웨어 구입 등의 비용은 발생하지 않으나 빌려 쓰는 개념이기 때문에 이용료 안에 포함되어 있다고 생각할 수 있다.
그러므로 온프레미스 방식은 초기구축 비용이 크지만 성공적인 구축 이후에는 추가비용이 크게 발생하지 않는다는 장점이 있으며, 그와 반대로 클라우드 방식은 초기구축 비용이 거의 발생하지 않지만 월사용료의 누적 비용이 발생한다는 것이다.
또한, 온프레미스 방식은 유지보수의 경우 직접 관리 및 운영을 해야하는 반면에 클라우드 방식은 서비스 제공자와 SLA(Service Level Agreement)를 체결하여 제공자가 직접 관리 및 운영을 담당한다. 특히, 온프레미스 방식은 한번 구축하면 규모의 변경이 쉽지 않을 뿐만 아니라 규모 확장 시 물리적인 확장을 필요로 하므로 비용과 시간을 필요로 하지만 클라우드 방식은 서비스 신청 변경을 통해 빠르게 진행할 수 있다.
한 가지 아쉬운 클라우드의 단점은 통제에 대한 부분으로 온프레미스 방식은 모든 권한이 시스템 구축자에게 있어 원하는 방식으로 시스템을 구축하고 필요에 따라 시스템을 옮길 수 있지만 클라우드의 경우 서비스 제공자에게 락인(Lock-In) 되는 경향이 존재한다는 것이다.
이러한 장?단점 때문에 빅데이터 생태계 기준의 인프라스트럭처 부문에서 빅데이터 분석을 고려하는 기업 및 기관에서는 많은 고민을 필요로 하는 것이 현실이다.
마치면서
빅데이터 산업은 데이터 거래가 활발해 질수록 대규모의 인프라와 컴퓨팅 파워를 요구할 수밖에 없는 구조를 지녔다. 특히, 정밀한 분석과 유의미한 정보를 추출하기 위해 필요한 데이터의 양은 더욱 증가할 것으로 예상되며, 데이터의 정합성 유지와 히스토리 관리 측면이 강조 될 수밖에 없어 시스템 규모는 온프레미스 방식 보다 클라우드 방식이 효율적일 것으로 판단된다.
하지만, 앞서 말한바와 같이 클라우드 단점을 극복할 수 있는 방안이나 기술개발이 병행되어야 빅데이터 수요에 대응할 수 있는 경쟁력을 확실히 가질 수 있을 것으로 예상된다.
또한, 본문에서는 빅데이터 거래 플랫폼의 인프라적인 부분을 중심으로 클라우드의 역할을 들여다봤다면 서비스 지원 부문에서의 클라우드 역할을 집중적으로 고민해볼 필요가 있을 것으로 판단된다.
특히, 규모의 경제인 인프라를 제외하고 PaaS와 SaaS를 중심으로 분석플랫폼의 개발이 활발히 진행되고 있고, 서비스 지원을 위한 소프트웨어도 클라우드를 기반으로 성장할 수 있기 때문에 전략적 측면에서 깊이 있게 고려해야할 부문으로 여겨진다.
우리나라의 경우 규모의 경제인 인프라 부문의 경쟁력이 해외 기업에 비해 부족한 것이 사실이기 때문에 경쟁력을 갖출 수 있는 기술개발과 전략적인 상품개발(빅데이터 분석 기반의 서비스 상품 등)을 필요로 할 뿐만 아니라 빅데이터 분석 솔루션 및 서비스를 특화하는 기업과의 전략적 제휴를 통해 인프라-분석-서비스 앱 지원까지 전 부문의 패키지화와 같은 특수 목적별 상품 개발과 서비스 제공이 필요하다. 이러한 부분들이 온프레미스 방식과 클라우드 방식을 고민하는 의사결정권자에게 합리적인 의사결정을 할 수 있는 판단의 근거가 될 것으로 기대된다.