마이크로소프트? / 김대우 이사
2025년까지 기업의 70%가 생성형 AI 플랫폼, 개발자 도구 및 인프라를 위해 클라우드 서비스 제공업체와 전략적 관계를 형성하고, 데이터 및 비용 거버넌스에 대한 수요가 발생
- IDC FutureScape: Worldwide Cloud 2024 Predictions
2025년까지 기업의 70%가 생성형 AI라는 인공지능 플랫폼과 개발 도구, 그리고 인프라를 위해 클라우드 제공업체와 손을 잡을 것으로 예측됩니다. 클라우드를 이용하면 필요한 만큼 자원을 쓸 수 있고, 사용한 만큼만 돈을 내면 되니까 아주 효율적입니다. 게다가 전 세계 어디서나 접근할 수 있는 장점도 있습니다.
필요한 자원을 원할 때 제공받을 수 있고, 우리가 사용한만큼만 비용을 지불하는 종량제(Pay-as-you go)로 사용될 수 있으며 글로벌 스케일로 배포를 할 수 있는 훌륭한 기능도 제공하기 때문에 기업의 서비스 배포 속도를 아주 빠르게 높일 수 있습니다.
이렇게 생성형 AI를 도입하는 여정을 시작하는데, 클라우드와 생성형 AI가 조합은 누구나 예측할 수 있습니다. CSP(클라우드 서비스 제공자 - Cloud Service Provider)들은 이미 생성형 AI 모델 트레이닝과 AI 플랫폼 서비스, 그리고 AI 서비스 인프라스트럭처에 어마어마한 투자를 하고 있습니다. 생성형 AI를 SaaS 애플리케이션으로 확장하기 위해 전사적인 노력을 기울이고 있으며, 파트너 생태계도 빠른 속도로 구축하고 있습니다.
1. 기업의 데이터 프라이버시
생성형 AI 가장 중요한 모델을 만들기 위해 필요한 핵심 소재는 바로 “데이터”입니다.
방대한 분량의 데이터가 필요합니다. 데이터 확보를 위해 생성형 AI 개발사는 엄청난 노력을 기울이고 있으며 지금도 여전히 우리가 입력하는 프롬프트를 통해서, 또는 다양한 외부 리소스를 통해서 데이터를 확보하고 있는 중입니다.
데이터의 확보가 생성형 AI의 정확도를 높이는 핵심적인 자산이기 때문입니다.
[그림1. ChatGPT 3.5의 트레이닝 데이터셋 - OpenAI 공개]
하지만 여기서 중요한 문제들이 있어요. 바로, “데이터 프라이버시”입니다.
[그림2]
글로벌 기업 애플에 대한 기사입니다. 애플은 ChatGPT 사용을 사내 자료 유출을 우려해 제한했습니다. 금융권도 마찬가지입니다 JP모건, 뱅크 오브 아메리카와 같은 금융사들도 회사의 재무 데이터와 보안 정보 유출을 우려해 ChatGPT와 같은 생성형 AI 사용을 제한하는 조치를 취하고 있습니다.
[그림3]
글로벌 기업에만 생기는 일이 아닙니다. 당연히 국내에서도 사용 제한이 가시적으로 나타나기 시작했는데요, 삼성전자도 사내 ChatGPT 사용을 금지하는데 그 이유가 회사 기밀 유출이 우려되기 때문입니다.
[그림4. OpenAI의 데이터 사용 정책 ]
데이터 유출 리스크 vs. 생성형 AI가 제공하는 업무 효율
많은 기업에서 ChatGPT가 도입되어 빠른 속도로 도입되며, 다양한 활용 방안을 찾았지만, 시간이 지나면서 기업의 데이터 유출, 데이터 거버넌스와 같은 법과 제도와 충돌하면서 다른 분위기가 연출되고 있습니다.
정보 유출이 걱정이 되긴 하지만, 생성형 AI가 제공하는 업무 효율성 때문에 기존에 제한만 했던 방식에서, 데이터 보안 문제를 어떻게 해결할지로 초점을 맞춰 진행되고 있습니다.
데이터 프라이버시
기업들은 자신들의 중요한 데이터가 외부로 유출되어 인공지능의 학습 목적 등으로 사용되는 것을 원치 않습니다. 이런 기회를 CSP들이 놓칠 리 없겠지요. 그래서, CSP들은 공용 AI 모델과 기업의 민감한 데이터를 잘 분리해 안전하게 관리하는 방안을 제공하고 있습니다.
기업 입장에서 데이터 프라이버시를 위한 최선의 방안은 LLM과 같은 생성형 AI를 직접 만들어서(트레이닝해서) 사용하는 방법이지만, 별로 좋은 방법은 아닙니다. 어마어마한 시간과 비용이 들어가기 때문입니다.
더 좋은 방법은 CSP가 제공하는 프라이빗 생성형 AI 서비스를 이용하는 방법입니다. 예를 들어, Microsoft의 Azure 클라우드 플랫폼에서는 OpenAI의 ChatGPT 등의 서비스를 프라이빗 패턴으로 사용할 수 있도록 API를 제공하고 있습니다.
[그림5. What is Azure OpenAI Service? ]
데이터 프라이버시와 관련해 고객의 데이터를 사용하지 않는 것을 명시하고 있습니다.
[그림6. Data, privacy, and security for Azure OpenAI Service?]
CSP의 데이터 프라이버시 난제
CSP의 가장 어려운 난제는 역시나 고객의 신뢰를 얻는 부분입니다. “정말 우리 회사 데이터가 완벽하게 분리되고, 데이터 프라이버시를 지킬 수 있는가?”
고객의 입장에서는 클라우드 플랫폼, 다양한 데이터 프라이버시 확인 도구, 거버넌스 정책이 잘 지켜지고 있는가에 대해 확인해야 합니다.
2. 생성형 AI 서비스 비용
두 번째 기업의 고민은 비용입니다. 클라우드 플랫폼은 생성형 AI 모델을 서비스하기 좋은 환경이지만, 사용량이 많아지면 월간 비용이 갑자기 폭등할 수 있습니다. 그래서, 기업들은 비용과 성능의 균형을 맞추기 위해 다양한 저비용 옵션을 찾고 있습니다.
사용자들이 이러한 생성형 AI 서비스에 익숙해지면서 다양한 방법으로 프롬프트를 수행하기 시작했습니다. 간단한 작업부터 복잡한 작업까지 수행할 수 있도록 생성형 AI 버전은 높아지고 있으며, 텍스트, 이미지, 오디오, 영상 등 다양한 미디어를 통합해 예측할 수 있는 멀티모달 모델(Multimodal Model)을 지원하면서 더 다양한 작업을 생성형 AI가 수행 가능합니다.
기업 직원들의 사용률이 올라가는 것을 물론, 만약 우리 회사에서 일반 컨슈머 대상 서비스로 웹기반 챗봇 서비스를, 생성형 AI를 이용 제공한다면 회사의 비즈니스가 커질수록, 사용자가 늘어날수록 비용 문제가 발생하게 됩니다.
CSP도 이러한 기업의 고민을 잘 알고 있습니다. CSP에서 비용을 낮출 수 있는 방법들을 제공하고 있으며, 사용량에 따라서 리소스의 용량을 자동으로 조절할 수 있는 오토 스케일(Auto scale) 기능과 쿼터(Quota) 제한을 이용하거나, 예약된 인스턴스로 사용하는 방법입니다. 예를 들어, 1년 단위로 특정 용량을 예약해 사용하면 저렴한 가격으로 계약을 하고 많은 더 양을 사용할 수 있는 방법도 있습니다.
3. 내부 관리 정책 수립
마지막으로, 기업들은 생성형 AI 기술을 클라우드 플랫폼에서 도입하며 내부 관리 정책도 업데이트해야 합니다.
기술이 도입되면 IT 운영 작업의 끝이 아닙니다. 데이터 프라이버시 문제와 비용 문제는 지속적으로 여러 부서와 조직원들의 지속적인 협업과 관리가 필요합니다.
예를 들어, 회사 내에서 이런 퍼블릭 생성형 AI에 대한 사용을 제한하려면 방화벽(Firewall)이나 프락시(Proxy)와 같은 IT 자산을 활용해 접근 제한 조치들을 취해야 합니다.
프라이빗 생성형 AI를 이용한다면 어떻게 접근하고, 사용하는지에 대해서도 정리하고 공지해야 하며, 사용량 관리와 직원 외 접근 제한조치 역시 정책으로 수립되어야 합니다.
당연히 이런 업무를 수행하고 관리 감독해야하는 팀도 필요할 수 있고 팀원에게는 역할과 책임이 추가되며, 기존 사내에서 사용하고 있던 여러 가지 감사/모니터링 시스템과 통합도 필요합니다.
데이터 관리에 대한 새로운 역할과 책임이 생기고, 이걸 기존 시스템과 잘 통합해야 합니다.
CSP는 이런 여러 생성형 AI 관리 작업을 수행하는 기능을 제공합니다.
[그림7. FAQ: Protecting the Data of our Commercial and Public Sector Customers in the AI Era ]
생성형 AI를 기업에 도입하면서 CSP와 잘 협업해 프라이버시, 비용, 관리 정책을 논의하고 진행해야 합니다.
국내 소프트웨어 기업 분들께 많은 도움 되시길 바랍니다.
참 고 문 헌
- https://www.idc.com/research/viewtoc.jsp?containerId=US51294723
- https://learn.microsoft.com/ko-kr/azure/ai-services/openai/overview
- https://learn.microsoft.com/en-us/legal/cognitive-services/openai/data-privacy
- https://techcommunity.microsoft.com/t5/security-compliance-and-identity/faq-protecting-the-data-of-our-commercial-and-public-sector/ba-p/4097231
- https://www.yna.co.kr/view/AKR20230519048300009
- https://www.fnnews.com/news/202305021414538318
저작권 정책
K-ICT 클라우드혁신센터의 저작물인 『2024 클라우드 트렌드 : 생성형 AI와 클라우드』은 K-ICT 클라우드혁신센터에서 마이크로소프트 김대우 이사에게 집필 자문을 받아 발행한 전문정보 브리프로, K-ICT 클라우드혁신센터의 저작권정책에 따라 이용할 수 있습니다.
다만 사진, 이미지, 인용자료 등 제3자에게 저작권이 있는 경우 원저작권자가 정한 바에 따릅니다.