박병훈 T3Q 대표
- 앞에서 정의하고 설명한 대로 IT Operation Analytics는 시스템을 모니터링하고 다양한 IT 운영 소스의 데이터를 수집, 처리, 분석 및 해석하여 의사 결정 및 잠재적 문제를 예측하는 일을 말한다. 이를 위해서는 소스가 되는 각종 장비, IT 시스템, IoT 데이터들의 수집과 저장, 처리를 담당할 빅데이터 시스템이 필요하며 보다 정확한 분석을 위해서는 기계학습을 통한 인공지능의 적용이 필요하다는 점을 알아보았다.
- ‘미래 예측을 위한 ITOA 인공지능 기술’ 편에서 사례를 들었던 여러가지 활용 현황에서 보았듯이 무의미한 데이터 묶음에서 유의미한 정보를 얻어내기 위해서는 그것을 처리할 시스템을 갖추기 이전에 무엇을 어떻게 활용 또는 서비스할 것인가 하는 근본적인 아이디어 창출과 전개가 우선이다.
기획
- 스스로 자각하고 있을 수도, 그렇지 못 할 수도 있지만, 비즈니스를 운영하면서 빅데이터를 보유한 업체는 상당히 많을 것이고 (실질적으로 모든 비즈니스에서 크든 작든 어떤 식으로든 운영, 경영 정보 등이 누적되고 있으므로 100%라고 봐도 무방할 것이다.) 그 데이터들은 현재 활용되고 있을 수도 그냥 쌓여서 잠자고 있을 수도 있을 것이다.
- 그럼 남들이 ‘빅데이터, 빅데이터’를 떠든다고 해서 나도 그걸 해야 하는지를 따져볼 필요가 있을 것이다. 그 과정에는 다음의 중요한 결정 요소들이 있다.
- 빅데이터 분석이 내 사업에 어떤 도움을 줄 수 있는가?
- 기존 시스템에 어떻게 적용해야 할 것인가?
- 빅데이터 기술을 확보할 수 있는가?
- 자신(업체)이 가진 빅데이터의 종류나 형태, 정보 유형 등을 1차로 분석해보고 그것들에서 어떤 정보를 추출할 수 있는지 고민하는 것이 첫 번째 과정이다. 다음으로는 현재 운용되고 있는 시스템 (또는 비즈니스 프로세스)에 적용할 수 있는지 그 효용성에 문제는 없는지를 따져봐야 한다. 그리고 무엇보다도 빅데이터 기술을 도입할 비용이나 인력 확보가 가능한지가 가장 중요한 결정 옵션이 될 것이다.
클라우드 플랫폼 활용
- 아이디어나 적용 방안은 빅데이터를 사용하려는 개인, 업체의 기획력에 관한 부분이지만 기술은 또 다른 문제가 되는데 이럴 때 큰 비용이나 기술적인 문제 없이 도입할 수 있는 것이 바로 클라우드 플랫폼이다. 다양한 소스에서 발생하는 엄청난 양의 데이터와 그를 처리하기 위한 빅데이터 시스템, 인공지능 시스템을 모두 통합적으로 지원할 수 있기 때문이다.
[그림1] IoT, 빅데이터, 인공지능과 클라우드
빅데이터 플랫폼 구현
- 빅데이터 플랫폼은 기본적으로 수집, 저장, 분석, 시각화의 기능별 영역으로 구성된다.
[그림2] 빅데이터 플랫폼 개요도
- 수집 (Agent / API / Script) : 직접 입력, Agent 설치와 API 호출, 로그파일 등으로부터 자동으로 데이터를 수집
- 저장 (Memory / Database / NoSQL / Hadoop) : 실시간으로 빠른 데이터 처리와 대용량 데이터 처리를 위한 최적의 방식을 사용
- 분석 (Real-time / Batch / On-Demand) : 유입되는 대량의 데이터를 실시간이나 주기적으로 또는 요청에 의해 분석이 가능
- 시각화 (Dashboard / Data Editor) : 다양한 분석 차트와 테이블의 대시보드가 제공되며 화면 레이아웃은 사용자에 따라 맞춤형 구성이 가능
AI 플랫폼 구현
- 최근 알파고 때문에 폭발적인 관심을 받게 된 인공지능은 사람과 유사한 지능을 가지도록 인간의 학습능력, 추론능력, 지각능력, 자연어 이해능력 등을 컴퓨터 프로그램으로 실현하는 기술인데 그 소프트웨어적인 기능 이전에 필요한 것이 하드웨어 시스템이다.
- 인공지능 플랫폼은 빅데이터 플랫폼에서 데이터가 수집되고 전처리 되어서 넘어오면 사전에 정의된 목적 알고리즘에 따라 학습하고 성능을 평가하여 정확도가 미달할 경우는 알고리즘의 수정을 통한 재학습을 반복하면서 원하는 수준의 판단 및 예측 성능을 확보하여 실제 현장에 적용하게 된다.
[그림3] 인공지능 플랫폼 구성도
| 1) 저장소 |
|
| 2) 딥러닝 통합 프레임워크 |
|
| 3) 시각화 |
|
| 4) AI 공통서비스 |
|
| 5) 응용서비스 |
|
아이디어를 춤추게 하기
- 과거에는 어떤 기술이나 기계를 만드는 것 자체가 아이디어였지만 현재는 사실상 인간에게 필요한 거의 모든 기술이나 장치가 이미 나와있다고 해도 과언이 아니다. 그렇다면 이제부터는 ‘무엇을 만들까’라는 고민이 아닌 기존의 장비, 시스템을 ‘어떻게 활용할 것인가’라는 명제가 미래 산업의 핵심이 될 것이다.
- 영화계에 큰 획을 그은 ‘스타워즈’가 만들어진 게 1977년으로 정확히 40년 전이었는데 지금 같은 컴퓨터 그래픽 기술이 없었기 때문에 대부분의 우주적인 배경이나 대규모 군단의 모습 등을 그림으로 그려서 표현했고 미니어쳐나 애니메이션 덧입히기 등 당시로는 최고의 특수효과를 사용했으며 그런 기술들을 위한 특수효과 전문회사가 생기는 계기가 되기도 했다. 스타워즈는 지금 보아도 촌스럽지 않은 화려한 장면들을 보여주는데 이건 감독이자 작가인 조지 루카스의 아이디어를 구현해낸 기술의 승리라고 보아도 좋을 것이며, 현재는 어떤 상상력의 이야기를 가져오더라도 모두 화면에 구현하는 것이 가능한 시대가 되었다.
- 빅데이터, 인공지능, 클라우드 기술도 이미 무엇을 상상하든 그 이상을 보여줄 수 있는 수준에 올라있고 실제로 많은 사례에서 그 가치를 입증하고 있다. 이제는 아이디어를 어떻게 구현할 것인가는 별로 중요한 문제가 아닌 세상이다. 조명이 비추고 있고 음향 시스템이 있고 관객이 기다리고 있는 멋진 무대는 갖춰진 셈이고 아이디어가 나와서 춤만 추면 되는 것이다.
성공을 위한 조언
- 세계적인 컨설팅 회사인 가트너그룹은 빅데이터의 가치 모델을 ‘고객관리 ? 프로세스효율 ? 마케팅 ? 비용 ? 신규 가치 창출’ 등으로 구분하고 이들이 유기적으로 시너지를 창출하여 최종적으로 경영효율화 및 매출 안정화에 기여한다고 분석한 바 있는데 너무 기초적인 분석이며 잠재적인 가치를 발견하지 못 한 것으로 생각된다.
- 현재 수 많은 스타트업 개인, 회사의 사례에서 알 수 있듯이 아이디어가 최고의 가치를 만들어내는 시대로 들어서고 있다. 빅데이터, 인공지능, 클라우드의 활용을 전통적인 개념의 틀 속에 가두어 버리고 빅데이터는 대형 회사의 전유물이고 개인은 빅데이터와는 상관이 없다라는 전제를 해버리면 더 이상 나갈 곳이 없어지게 된다.
- 지금 자신의 주위만 둘러봐도 휴대폰, 컴퓨터, 전자 기기, 자동차, 버스, 지하철, 오가는 사람들 등등이 시간에 따른 엄청난 빅데이터를 쏟아내고 있으며 자신의 취미나 기술, 관심 분야, 업무, 회사 등으로 확대하면 그 수는 상상을 초월하게 된다. 처음에 빅데이터가 그랬듯이 이런 데이터들은 당장은 의미도 없고 그냥 버려지는 데이터들이다. 하지만 그 데이터들을 느낄 수 있고 그 안에서 누군가에게 필요할 수 있는 무언가(서비스)를 발견할 수 있다면 성공에 조금 더 다가설 수 있는 기반을 마련한 것이다. 잠자는 빅데이터를 깨우는 것, 그것은 당신의 몫인 것이다.