마이크로소프트? / 김대우 이사
예측 3: 2025년까지 기업의 50%가 퍼블릭 클라우드 마이그레이션 트렌드와 달리
온프레미스, 관리형 서비스 제공업체 또는 코로케이션 제공업체에
HPC를 배포할 것입니다.
- IDC FutureScape: Worldwide Cloud 2024 Predictions
1. HPC(High-Performance Computing)와 클라우드
[그림1. XaaS의 시대에 온프레미스로 회귀한다고?(XaaS - 글로벌 기업들의 전방위 클라우드 적용 동향?]
HPC-as-a-Service 클라우드 시대에 HPC의 온프레미스 도입이 50%에 달할 것이라는, 클라우드의 성장과 상반되는 예측입니다.
2. XaaS 시대에 여전히 성장하는 HPC 온프레미스 비즈니스
클라우드 환경으로 기업의 워크로드를 전환하는 Everything-as-a-Service 시대. 이미 수많은 서비스가 클라우드 위로 도입되고 있습니다. 그렇지만, 여전히 여전히 HPC는 온 프레미스 기반으로 사용되고 있으며, 클라우드보다 빠른 속도로 온프레미스에서 성장하고 있습니다.
[그림2. 클라우드/온프레미스 HPC 마켓 예측 - HPC wire]
왜 이런 상황이 발생하고 있을까요?
HPC 클러스터는 여전히 많은 기업이나 조직에서 직접 보유하고 운영하고 있습니다. 이러한 기업들은 자체적으로 운영하는 서버실과 같은 시설에서 HPC를 운영하고 있습니다.
그 이유는 여러 가지가 있습니다.
2-1. 성능 중심 작업
성능에 집중된 부하 작업을 수행할 때, 퍼블릭 클라우드가 항상 비용 효율적인 선택이 아니라는 기준이 있습니다.
먼저, 성능 중심적인 분야에서 퍼블릭 클라우드를 사용하는 것이 비용 효율적이지 않은 이유는 여러 가지가 있습니다. 성능을 극대화하기 위해서는 클라우드 인프라가 높은 성능을 제공해야 하는데, 이러한 고성능 클라우드 서비스는 비용이 매우 높을 수 있습니다.
이는 특정 분야에서 특히 두드러집니다. 특히, 대규모 데이터 처리나 복잡한 계산 작업을 필요로 하는 경우, 퍼블릭 클라우드의 비용이 급격히 상승할 수 있습니다.
2-2. 데이터 관리 규약 준수
또한, 데이터 관리 규약 준수와 관련된 문제도 있습니다. 거의 모든 국가에서는 자국 데이터 보호를 위해, 관련된 법과 제도를 적용해 엄격히 규제하고 있습니다. 예를 들어, 유럽연합의 GDPR이나 미국의 HIPAA 같은 규정입니다. 이런 규제를 준수하기 위해서 데이터를 특정 지역에 저장하고 관리해야 하는데, 퍼블릭 클라우드를 이용할 경우, 데이터가 여러 국가에 걸쳐 분산될 수 있기 때문에 법적 규제를 충족하는 데 어려움이 있을 수 있습니다.
[그림3. 다양한 국가 법제도 및 규제]
2-3. 데이터 보안
데이터와 컴퓨팅 작업이 매우 민감한 정보를 포함하는 경우, 이를 외부 클라우드 서비스로 보내는 것은 보안 측면에서 위험할 수 있습니다. 이런 요구에 따라, 보안을 철저히 관리하기 위해 자체 시설에서 HPC 클러스터를 운영하는 것이 안전할 수 있습니다.
2-4. 스토리지 비용
마지막으로, 퍼블릭 클라우드의 스토리지 비용도 문제입니다. HPC에서 분석하고 계산할 대규모 데이터를 클라우드에 저장하고 관리할 경우, 상당한 비용이 들기 때문에 HPC는 장기적으로 보면 퍼블릭 클라우드를 이용하는 것이 경제적이지 않을 수 있습니다. 이러한 이유들로 인해, 앞으로도 최소 1년 정도는 퍼블릭 클라우드에 HPC 배포가 제한적일 것으로 예상되고 있습니다.
이러한 여러 가지 이유들 때문에, 성능에 집중된 부하 작업을 수행할 때 퍼블릭 클라우드가 항상 최선의 선택은 아닐 수 있습니다.
대신, 기업들은 자체 데이터 센터를 운영하거나, 코로케이션 서비스를 받거나, 프라이빗 클라우드를 이용하는 등 다양한 대안을 고려할 필요가 있습니다.
[그림4. ChatGPT 트레이닝에 사용된 Cerebras CS-2와 HPE Superdome Flex]
3. HPC 하이브리드 클라우드
그렇다면 하이브리드 클라우드 시나리오는 어떨까요?
하이브리드 클라우드는 온프레미스 인프라와 퍼블릭 클라우드를 결합하여 사용하는 방식으로, 다양한 이점이 있습니다. 예를 들어, 기업은 자신들의 데이터를 온프레미스에서 안전하게 관리하면서도, 필요한 경우 퍼블릭 클라우드의 유연성과 확장성을 활용할 수 있습니다. 이러한 접근 방식은 비용 절감과 성능 최적화를 동시에 추구할 수 있는 장점이 있습니다.
하지만, 2022년 미국에서 실시된 HPC 서베이에 따르면, 퍼블릭 클라우드와 조직의 HPC 환경을 통합하는 것이 복잡하다고 응답한 사람들이 45% 이상이었습니다. 이는 하이브리드 클라우드가 훌륭한 대안이지만, HPC에서는 예외적인 케이스라는 것을 시사합니다.
특히, HPC에 사용되는 데이터와 컴퓨팅 파워를 퍼블릭 클라우드로 이전하는 부분에서 여러 가지 어려움이 있습니다. 즉, 온프레미스와 퍼블릭 클라우드 간의 데이터 이동이 자유롭지 않다는 점이 대표적인 문제입니다. 이는 데이터 전송 속도와 비용, 그리고 규제 및 데이터 보안 문제 등 여러 요인으로 인해 발생합니다.
또한, 위에서 언급한 대로, HPC를 필요로 하는 작업에서는 퍼블릭 클라우드의 비용이 상당히 높을 수 있습니다. 클라우드 서비스 제공업체들이 고성능 컴퓨팅 자원을 제공하는 데에는 높은 비용이 따르기 때문에, 이러한 상황에서는 온프레미스 인프라가 더 경제적일 수 있습니다.
이러한 이유들로 인해, HPC는 여전히 온프레미스에서 더 오랫동안 사용될 가능성이 높습니다.
결론적으로, 하이브리드 클라우드는 많은 이점을 제공하지만, HPC 분야에서는 아직까지 퍼블릭 클라우드와의 통합이 복잡하고 비용 면에서 불리할 수 있습니다. 따라서, 많은 조직들이 HPC 환경을 온프레미스로 유지하는 경향이 있으며, 이는 앞으로도 한동안 지속될 가능성이 큽니다.
4. 여전히 HPC가 우선 적용되는 분야
현재 대부분의 HPC 적용 시나리오를 살펴보면, 가장 중요한 분야는 정부/국방, 금융 서비스와 같은 보안이 최우선시되고, 독립적으로 운영되어야 하는 영역입니다. 특히 국방 분야에서는 데이터의 민감성과 보안 요구사항 때문에 여전히 온프레미스 데이터 센터, 즉 자체적으로 관리하는 데이터 센터가 가장 많이 사용되고 있습니다. 이들 분야에서는 외부의 퍼블릭 클라우드를 사용하는 것보다, 직접 관리와 보안 통제가 가능한 온프레미스 인프라가 더 신뢰할 만한 선택으로 여겨집니다.
[그림5. SAIC(Science Applications International Corporation)의 HPC 컴퓨팅]
5. 성장하는 HPC 코로케이션 비즈니스
연구에 따르면, 앞으로 2년 동안 정부/국방, 금융 서비스 부문에서 퍼블릭 클라우드와 자체 관리 온프레미스 데이터 센터의 사용이 줄어들고, 대신 코로케이션과 온프레미스 데이터 센터를 서비스 형태로 제공하는 HPC 배치가 늘어날 가능성이 높습니다.
코로케이션은 여러 기업이 하나의 데이터 센터 시설을 공유하지만, 각각 서버와 네트워크를 독립적으로 운영하는 방식입니다. 이는 물리적 인프라의 효율성을 높이면서도 보안과 성능을 유지할 수 있는 방법입니다.
코로케이션과 같은 서비스 제공업체는 HPC 인프라를 구축하고 유지하는 데 필요한 전문 지식을 제공하며, 이를 잘 활용하면 HPC 자원을 효율적으로 활용할 수 있습니다.
[그림6. 데이터센터 코로케이션 시장, 2032년까지 연간 11.5% 성장" GMI - CIO 코리아]
데이터 코로케이션 시장 규모는 2023년 768억 달러에서 2032년 2,129억 달러로 연간 11.5%(CAGR) 성장할 전망 - Global market insight
마침
이러한 트렌드는 향후 몇 년간 계속될 것으로 예상되며, 그 이후에도 지속될 가능성이 큽니다.
- 데이터 보안/규정 준수 중요성 증가
- 고성능 컴퓨팅 자원의 비용 효율 극대화 요구 증가
- 코로케이션 및 관리형 서비스의 전문성과 유연성 제공
결론적으로, 정부/국방 및 금융 서비스 부문은 퍼블릭 클라우드와 자체 관리 온프레미스 데이터 센터의 사용을 현 수준으로 유지하거나 줄이는 대신, 코로케이션 방식의 HPC 배치를 늘릴 가능성이 높습니다. 이는 보안, 성능, 비용 효율성 측면에서 여러 가지 장점을 제공하기 때문에, 앞으로도 이러한 트렌드는 지속될 것입니다.
참 고 문 헌
- https://www.idc.com/research/viewtoc.jsp?containerId=US51294723
- https://www.hpcwire.com/2024/05/13/isc24-hyperion-research-predicts-hpc-market-rebound-after-flat-2023/
- https://www.ciokorea.com/news/340869
- https://www.saic.com/
저작권 정책
K-ICT 클라우드혁신센터의 저작물인 『2024 클라우드 트렌드 : HPC와 클라우드의 동상이몽』은 K-ICT 클라우드혁신센터에서 마이크로소프트 김대우 이사에게 집필 자문을 받아 발행한 전문정보 브리프로, K-ICT 클라우드혁신센터의 저작권정책에 따라 이용할 수 있습니다.
다만 사진, 이미지, 인용자료 등 제3자에게 저작권이 있는 경우 원저작권자가 정한 바에 따릅니다.