마이크로소프트? / 김대우 이사
예측 4: 2026년까지 전체 조직의 75%가
AI 및 기타 가속화된 애플리케이션의 배포 속도를 극대화하고 확장 최적화를 위해
전문화된 가속 클라우드 컴퓨팅 서비스(Specialized Accelerated Cloud Computing Services)를
활용할 것
- IDC FutureScape: Worldwide Cloud 2025 Predictions
- 첨단 GPU 1만 장 연내 확보, 국내 AI 생태계에 GPU 순차지원 추진 - 대한민국 정책브리핑
- 초대 AI 수석 "100조도 부족‥전 국민 무료 AI 바우처 지급해야" - MBC국가의 클라우드 통제 - 디지털 주권과 소버린 클라우드 동향
출처: 오일달러 앞세워… 사우디·UAE도 'AI 전쟁' 합류 - 매일경제
AI 학습과 추론에 사용되는 GPU를 누가 더 많이 보유하느냐가 국가와 기업 경쟁력의 상징이 되어가는 시대입니다. 2024년, 우리나라 정부는 국내 AI 산업을 위해 연내 1만 장 이상의 첨단 GPU를 추가 확보한다고 발표했고, 아랍에미리트(UAE)는 이미 50만 장 수준의 GPU를 막대한 자본으로 확보해 ‘국가 전략 자산’으로 관리하고 있습니다.
AI 강국이 되기 위해 전략 자산으로 대규모 GPU 클러스터를 경쟁적으로 증설하는 모습이 2025년에도 여전히 펼쳐지고 있습니다.
AI 기업에게 전문화된 가속 클라우드 컴퓨팅 서비스는 필연
최근 몇 년 사이, GenAI를 등에 업은 AI가 산업 전반에서 하루가 다르게 빠른 속도로 확산되고 있습니다. 이제 기업은 단순한 기술 테스트 단계를 넘어, 비즈니스 혁신과 수익 창출을 위한 AI 활용에 적극적으로 나서고 있습니다. 이때, 핵심이 되는 기반 기술이 바로 가속화된 클라우드 컴퓨팅 서비스입니다.
글로벌 IT 조사기관들의 예측에 따르면, 2026년까지 전체 조직의 75%가 AI와 기타 고성능 애플리케이션 배포 속도 극대화, 그리고 탄력적 확장 최적화를 위해 “전문화된 가속 클라우드 컴퓨팅 서비스(Specialized Accelerated Cloud Computing Services)”를 전략적으로 도입할 전망입니다.
2026년이면 내년인데 너무 이른 예측 아닌가라고 느껴지지만 조금만 찾아보면 이미 수많은 AI 서비스들의 사례가 우리 앞에 상품화되어 놓여 있습니다.
전문화된 가속 클라우드 컴퓨팅 서비스에 대한 수요는 실제로 놀라운 속도로 증가하고 있습니다.
IDC에 따르면 퍼블릭 클라우드 서비스에 대한 전 세계 지출은 2024년 8,050억 달러에서 2028년에는 그 규모가 두 배로 늘어날 전망입니다.
“클라우드 인프라 지출, 2028년까지 연평균 18.1% 성장” - CIO, IDC
세밀하게 AI 분야만 파악해 본다면, AI 인프라 시장은 2025년 822억 3,000만 달러에서 2030년까지 연평균 20.12% 성장하여 2,056억 5,000만 달러에 달할 것으로 예측됩니다.
AI와 데이터 중심 시대, 기존 클라우드 컴퓨팅은 한계에 직면
AI와 ML, 데이터 기반 서비스의 진화 속에서, 기존의 범용 클라우드 컴퓨팅 인프라는 한계를 보이기 시작했습니다. 대량의 데이터를 실시간으로 분석하거나, 복잡한 AI 모델을 빠른 시간 내에 학습 및 추론하려면 막대한 처리 연산 성능이 필요합니다. 하지만 기존 클라우드 컴퓨팅 인프라로는 처리 속도와 확장성, 비용 측면에서 점차 한계에 부딪히고 있습니다. 이런 이유로 인해 AI 프로젝트가 예상보다 오래 걸리거나, 예산 부담이 급증하는 문제가 반복되고 있습니다.
직접 GPU 클러스터를 구축하는 것도 방법이지만 기술적인 어려움도 많습니다. 수십~수천 개의 GPU를 병렬 처리해야 하는 대규모 환경에서는 다음과 같은 기술 난제가 산재합니다.
- 자원 스케줄링
여러 이용자와 모델이 동시에 자원을 사용할 때, 공정하면서도 효율적으로 GPU를 배분하는 것은 매우 어렵습니다.
- 데이터 이동 및 동기화
대용량 데이터가 여러 GPU와 서버 간을 이동할 때, 네트워크 병목 현상과 저장, 불러오기 지연이 발생합니다.
- 최적화된 소프트웨어 스택 부재
이런 작업에 적용 가능한 소프트웨어가 부족해 현업에서는 최신 하드웨어의 성능을 충분히 끌어내지 못하는 경우도 많습니다.
우리 앞에 산적한 이런 문제를 어떻게 해결할 수 있을까요?
전문화된 가속 클라우드 컴퓨팅
이러한 환경에서 주목받는 것이 바로 GPU, ASIC, FPGA 같은 맞춤형 고성능 칩셋을 활용한 전문화된 가속화된 클라우드 서비스입니다.
NVIDIA의 Accelerated Computing in the Cloud
주요 플레이어인 NVIDIA와 협력해 AWS, Azure, GCP, Oracle과 같은 글로벌 CSP는 이미 AI 및 HPC 특화 인스턴스와 도구를 다양하게 제공하고 있습니다.
글로벌 클라우드 서비스 제공업체(CSP)의 가속 컴퓨팅 전략
AWS의 차세대 GPU 인스턴스
아마존웹서비스(AWS)는 전문화된 가속 클라우드 컴퓨팅 분야에서 지속 혁신을 유지하고 있습니다. 2025년 현재, EC2 G6 인스턴스는 NVIDIA L4 Tensor Core GPU를 탑재하여 기존 인스턴스 대비 딥러닝 추론에서 2배 향상된 성능을 제공합니다. AWS는 P3, P4, P5 시리즈부터 G3, G4, G5, G6에 이르기까지 다양한 GPU 기반 인스턴스를 제공하여 다양한 고객의 AI 워크로드 요구사항을 맞춤 제공하고 있습니다.
Amazon EC2 G6 Instances - AWS
Amazon ECS task definitions for GPU workloads - AWS
Microsoft Azure의 NVIDIA GPU Cloud 통합
마이크로소프트 Azure는 HPC 솔루션과 N제품군을 통해 다양한 GPU 최적화 VM을 제공하고 있습니다. NC, ND, NG, NV 제품을 제공하며, 목적에 맞춰 계산 집약, 대용량 메모리 집약 등의 작업을 수행 가능합니다.
Azure HPC Solution - Microsoft Azure
Azure GPU 가속 - Microsoft Azure
Google Cloud의 GPU 서비스
구글 클라우드는 NVIDIA GB200, B200, H200, H100, L4, P100, P4, T4, V100, A100 GPU를 포함한 광범위한 GPU 옵션을 제공하여 다양한 비용과 성능 요구사항을 충족하고 있습니다. 특히 초당 과금 체계를 통해 사용자가 필요한 만큼만 비용을 지불하도록 하는 유연한 가격 정책을 제공합니다.
GCP - Cloud GPU - Google
GCP - GPU 머신 유형 - Google
Oracle Cloud의 베어메탈 GPU 서비스
오라클 클라우드는 NVIDIA H시리즈, L40, A100 Tensor Core 등의 GPU를 탑재한 베어메탈 인스턴스를 제공하며, 복잡한 AI 모델과 딥러닝 시스템을 실행할 수 있도록 지원합니다. BM.GPU4.8 베어메탈 인스턴스는 8개의 NVIDIA A100 GPU와 각각 40GB 메모리를 제공합니다.
GPU Instances - Oracle
GPU - 가속 컴퓨트 가격 - Oracle
이런 전문화된 가속 클라우드 컴퓨팅이 CSP에서 플랫폼으로 제공된다면 다음 수순으로는 이를 활용한 SaaS 기업들이 탄생하게 됩니다.
예를 들어, 금융권은 밀리초 단위 초고속 연산과 동시 다발적으로 발생하는 대규모 트랜잭션 처리는 물론, 이상 거래 탐지(Fraud Detection) 등과 같은 보안성을 제공하는 SaaS 서비스가 탄생합니다.
시장이 확장되고, 기회가 많아지면서 시작부터 전문화된 가속 클라우드 서비스를 제공하는 기업도 생기고 관련 산업 생태계가 확장됩니다.
GPU 특화 틈새시장의 강자, CoreWeave의 성장과 미래
최근 클라우드 산업에서 CoreWeave라는 이름이 빠르게 떠오르고 있습니다. 전통적인 글로벌 CSP가 범용적인 컴퓨팅 리소스와 표준화된 서비스로 시장에 안착하는 동안, CoreWeave는 AI, 렌더링, 빅데이터 등 GPU 집약형 워크로드만 초점을 맞춰 서비스하면서, 새로운 시장의 강자로 자리매김하고 있습니다.
AI 개발자를 위한 특화된 GPU 클라우드를 제공하는 CoreWeave
CoreWeave의 성장전략은 아주 명확합니다. 기존 글로벌 CSP처럼, 모든 워크로드를 내재화려는 접근에서 벗어나, 대규모 GPU를 크게 필요로 하는 특수 고객만을 타겟으로 한 니치마켓에 집중한 것이죠.
CoreWeave는 타겟 고객에게 가장 중요한 목표가 “폭넓은 범용 인프라가 아니라, 즉시 사용 가능한 대규모 GPU 자원”임을 정확히 인지해 제공하고 있습니다.
이러한 전략은 쉽지 않은 하드웨어, 소프트웨어, 공급망 등 각 영역에서 차별화된 실행력을 필요로 합니다. CoreWeave는 최신 GPU 도입으로 업계 최고 수준 인프라를 유지하고, 특화 GPU 워크로드를 위한 인프라 최적화에도 많은 투자를 진행하고 있습니다. 예를 들면, AI 연구개발이나 초대형 렌더링 팜(Render farm) 등 극도로 높은 연산 성능과 즉각적 자원 할당이 필요한 시장 요구에 맞춰, 실시간 리소스 배포와 고성능 네트워크 인프라를 유연하게 제공하고 있습니다. 또한, 2025년 GPU 수급이 어려운 현시점에서 효과적인 공급망 관리를 통해 서비스 신뢰도를 높이고 있습니다.
이미지 출처: techcrunch
CoreWeave가 시장에 미치는 파장도 만만치 않습니다. 챗 GPT와 같은 GenAI의 성공에 힘입어 GPU와 HPC 수요가 급증하면서, 전통적인 범용 클라우드만으로는 급증하는 워크로드를 충분히 충족하기 어려워졌습니다. 이 과정에서 CoreWeave가 공급하는 '특화 클라우드' 서비스가 더 주목받는 중이며, 앞으로도 GPU 중심 시장이 지속 확대될 것으로 판단됩니다. 이에 따라 AI, 머신러닝, 3D 렌더링, 시뮬레이션 등 고도의 컴퓨팅 파워가 요구되는 분야에서는 CoreWeave와 같은 GPU 특화 클라우드 사업자의 영향력이 점차 커질 것으로 판단됩니다.
이제 범용 클라우드만이 해답이 아닌, 적재적소에 파고드는 특화 전략이 “새로운 성장 동력”임을 CoreWeave가 보여주고 있습니다.
CoreWeave’s 250,000-Strong GPU Fleet Undercuts The Big Clouds
CoreWeave와 유사한 비즈니스를 하고 있는 Together AI도 2025년 3월 NVIDIA GTC에서 최대 64개의 NVIDIA Hopper GPU를 제공하는 Together Instant GPU Clusters를 발표했습니다. 이 서비스는 NVIDIA Quantum-2 InfiniBand와 NVIDIA NVLink로 연결되어 초저지연 및 고대역폭 성능을 제공하며, 몇 분 내에 셀프서비스로 클러스터를 구성할 수 있습니다.
Together AI Unveils Instant GPU Clusters at GTC 2025
우리도 한다! 국내 상황
해외가 아니라 국내 상황은 어떨까요? 속도하면 대한민국이죠. 카카오와 네이버가 주도적으로 전문화된 가속 클라우드 컴퓨팅 사업을 넓히고 있습니다.
카카오 AI 데이터센터 구축
2025년, 카카오가 경기도 남양주에 약 6,000억 원을 투입하여 대규모 AI 데이터센터 '디지털 허브'를 조성한다고 발표했습니다. 이 시설은 AI 및 미래 기술을 위한 고집적 서버 수용이 가능한 친환경 인프라로 설계되며, 태양광 등 신재생에너지 도입과 에너지 효율 최적화 기술이 적용될 예정입니다. 또한, AI 스타트업이 저렴하게 연산 자원을 임대할 수 있는 'GPU 클라우드 존'이 들어설 계획이라고 합니다.
카카오-남양주시, ‘디지털 허브’ 조성 위한 업무협약 체결 - kakaocorp
네이버 - AI 장비 투자에 진심
AI 기술 경쟁이 전 세계적으로 치열해지는 만큼, 네이버도 계속 치고 나가는 중입니다. 네이버의 AI 인프라 투자 규모도 전체 매출대비 상당 수준으로, 연간 7,000억 원 이상을 AI 인프라에 투자하며, GPU 등 첨단 장비에 대한 투자를 꾸준히 확대하고 있습니다.
네이버 “AI 장비에 연간 7000억 이상 투자” - AI Times
AI 생태계에서 인프라의 중요성은 계속 높아지고 있습니다. GenAI와 같은 연구에서 최신 고성능 GPU 자원 활용은 필수적이며, 카카오와 네이버가 이러한 연구개발 및 인프라에 공격적으로 투자하고 있다는 사실은 중장기적으로 볼 때, 글로벌 기술 리더십 확충과 미래 성장동력 마련이라는 점에서 큰 의미가 있다고 판단됩니다.
국내 AI 스타트업 - GPUaaS 상황
전문화된 가속 컴퓨팅 시장이 국내에서도 확대되면서, 여러 스타트업도 이 분야에서 활약하고 있습니다. GPUaaS는 고성능 GPU 자원을 서비스 형태로 제공하는 모델로 누구나 손쉽게 딥러닝, 생성형 AI, 머신러닝을 실험해 볼 수 있는 서비스입니다. 국내 스타트업은 CoreWeave의 전단계로, GPU 리소스를 직접 제공하기보다는, 이미 기업이나 조직이 보유한 GPU 리소스를 잘 활용해 공유하고 작업을 스케쥴링하는 부분에 맞춰져 있습니다.
이러한 흐름 속에서 주목받는 대표적인 국내 스타트업이 래블업(Lablup)과 베슬AI(VESSL AI)입니다.
특히, 래블업은 2015년 설립 이후 “AI 도입 과정의 장벽을 낮추는 AI 인프라 혁신 기업”이라는 미션 아래 국내외 GPUaaS 시장에서 주목받고 있습니다. 자체 개발한 Backend.AI 플랫폼은 GPU 자원 가상화로 효율적인 리소스 할당을 제공해 다양한 고객들이 GPU 인프라에 대한 걱정 없이 딥러닝 개발에 집중할 수 있도록 돕고 있습니다. 특히, TensorFlow, PyTorch 등 다양한 딥러닝 프레임워크와 리소스 스케줄링 기능, 직관적이고 편리한 관리자 도구가 제공되는 솔루션으로 국내외에서 활발하게 서비스되고 있습니다.
여담으로, 한참 예전인 2017년부터 래블업과 마이크로소프가 함께 협업으로 Backend.ai - Global Hackfest를 진행하기도 했습니다. 자세히 보시면 저도 영상에 나옵니다.
Hackfest with Lablup, AI startup
카카오, 네이버와 같은 국내 대표 IT 기업은 물론, 래블업과 같은 스타트업도 활발하게 활동하면서 국내외 GPUaaS 시장을 이끄는 선두주자로 자리매김하고 있습니다.
개인적으로, AI 분야 국내 스타트업이 전문화된 가속 클라우드 시장에서 글로벌 경쟁력을 갖춘 GPUaaS 클라우드 서비스로 도약하면서, AI 생태계 확장에 어떤 기여를 할지 기대됩니다.
전문화된 가속 클라우드 서비스의 근간은 클라우드 플랫폼
결국, 각 산업별로 요구되는 컴퓨팅 구조와 병렬처리 방식, 네트워크, 소프트웨어 스택이 모두 다르기 때문에, 커스터마이징 없이는 진정한 혁신을 기대하기 어렵습니다.
이러한 전문화된 가속 클라우드는 근간이 클라우드 서비스이기 때문에 제공기업 입장에서는 수요에 따라 리소스를 유연하게 조절할 수 있어, 급격한 트래픽이나 데이터 처리 증가에도 신속하게 대응할 수 있습니다. 바꿔 말하자면, 소비 기업 입장에서는 전문화된 고성능 클라우드 서비스를 꼭 필요한 만큼만 쓰고, 비용을 맞춰 관리할 수 있다는 점에서 양쪽 모두 경제적 이점이 있습니다.
여러 조사에 따르면 On-Premise 대비 높은 비용 효율성과 민첩성, 그리고 AI 모델 학습과 배포 속도에서 압도적인 격차를 만드는 것으로 파악되었습니다.
GPU 부족 반사이익! - 떠오르는 엣지 AI 시장
전 세계적으로 AI 기술 도입이 가속화되면서 데이터센터 GPU 부족 현상이 지속적으로 발생하고 있습니다. LLM과 같은 AI 모델이 거대해지고, 복잡성이 높아질수록 막대한 GPU 컴퓨팅 파워가 필요하며, 이로 인해 데이터센터 GPU 수요는 지속적으로 증가하고 있습니다.
GPU 내돈내산 하고 싶어도 번호표 뽑고 기다려야 하는, 데이터센터 GPU 리소스를 사용하기 위한 대기 시간 증가는 이미 현실이 되었습니다.
AI boom, GPU shortage: the complex equation of data centres
이미지 출처: 게티이미지
이러한 GPU 부족 상황에서 엣지 AI(Edge AI) 시장도 빠르게 확대되고 있습니다.
엣지 AI란, 일반적인 AI 추론 작업을 클라우드가 아닌 데이터가 생성되는 현장에서 즉시 수행할 수 있도록 하는 기술을 의미합니다. 단순 디바이스를 넘어서는 컨셉입니다.
이미지 출처: csem
즉, 각종 현장 디바이스나 장비에 컴퓨팅 능력을 탑재해 실시간 추론과 의사결정이 가능해, 데이터센터의 GPU 수요와 병목을 분산시키고, 네트워크 지연 없이 효율적으로 서비스를 제공할 수 있는 AI 활용 전략으로 주목받고 있습니다.
엣지 AI는 이미 여러 산업 현장에서 빠르게 확장되고 있습니다. 예를 들어, 제조 현장에서는 품질검사를 위한 영상, 센서 데이터 분석, 결함감지에 엣지 AI가 적용되고 있으며, 의료 분야에서는 환자 상태 모니터링 기기나 웨어러블 센서를 통해 실시간 건강 데이터를 분석, 추론해 이상 징후를 감지할 수 있습니다. 리테일 분야에서는 매장 내 고객 행동 패턴을 파악하는데 적용되고 있으며, 교통 및 에너지 관리에서는 CCTV나 스마트 미터기에서 데이터를 수집, 분석해 안전과 효율성을 동시에 높이고 있습니다.
이처럼 GPU 부족에 따른 AI 연산 병목은 엣지 AI 솔루션의 진화와 시장 성장을 촉진하고 있으며, 앞으로 더 많은 산업에서 적용될 것으로 판단됩니다.(GPU 부족 현상이 해결될 때까지?)
Red Hat ? What is Edge AI?
AI 주도 비즈니스 전환의 현실적인 전략
AI 중심의 비즈니스 모델 전환, 자동화 및 데이터 기반 의사 결정은 이제 기업 경쟁력과 직결되는 핵심 과제입니다. 이 과정에서 가속 클라우드 서비스의 도입은 선택이 아닌 필수로 자리 잡아가고 있습니다.
기존의 컴퓨팅 방식이나 On-premise 인프라 운영에 익숙한 조직일수록, 전문화된 가속 클라우드가 제공하는 종량제 모델, 즉 사용량 기반 과금 체계가 제공하는 중장기적 비용 절감 효과도 놓치지 말아야 합니다.
초기 투자 부담 없이 AI 혁신과 테스트, 그리고 대규모 프로덕션 배포까지 유연하게 확장할 수 있는 기반이 되기 때문입니다.
국내 기업도 글로벌 경쟁력 확보를 위해 GPU 자원의 효율적 활용, 멀티클라우드 전략 수립, 엣지 AI와 클라우드 AI의 하이브리드 접근을 통해 AI 인프라 비용을 최적화하면서도 성능과 효율을 극대화하는 방향으로 나아가야 할 것입니다.
AI 산업이 본격적인 수익화 시대에 돌입한 지금, 무엇보다 중요한 것은 AI 모델 생성을 위한 빠른 학습, 신속한 배포, 유연하고 민첩한 확장성을 동시에 갖춘 클라우드가 현재 유일한 전략입니다.
참 고 문 헌
- https://www.marketresearch.com/IDC-v2477/IDC-FutureScape-Worldwide-Cloud-Predictions-38665932/
- https://www.gartner.com/en/newsroom/press-releases/2025-05-13-gartner-identifies-top-trends-shaping-the-future-of-cloud
- https://www.korea.kr/news/policyNewsView.do?newsId=148943091
- https://imnews.imbc.com/replay/2025/nwdesk/article/6726144_36799.html
- https://www.mk.co.kr/news/world/10808265
- https://www.giikorea.co.kr/report/moi1689962-ai-infrastructure-market-share-analysis-industry.html
- https://www.nvidia.com/en-us/data-center/gpu-cloud-computing/
- https://www.nextplatform.com/2025/03/05/coreweaves-250000-strong-gpu-fleet-undercuts-the-big-clouds/
- https://aitech365.com/computing/together-ai-unveils-instant-gpu-clusters-at-gtc-2025/
- https://www.kakaocorp.com/page/detail/11592
- https://www.aitimes.com/news/articleView.html?idxno=159369
- https://www.independent.co.uk/news/business/business-reporter/ai-gpu-data-centres-cooling-infrastructures-b2744764.html
- https://www.redhat.com/en/topics/edge-computing/what-is-edge-ai
저작권 정책
SaaS 전환지원센터의 저작물인 『2025 클라우드 트렌드 : ?AI와 함께 진화하는 클라우드』은 SaaS 전환지원센터에서 마이크로소프트 김대우 이사에게 집필 자문을 받아 발행한 전문정보 브리프로, SaaS 전환지원센터의 저작권정책에 따라 이용할 수 있습니다.
다만 사진, 이미지, 인용자료 등 제3자에게 저작권이 있는 경우 원저작권자가 정한 바에 따릅니다.