파프리카데이터랩 / 김유빈 대표

    1. 청구서가 도착했다: 환상에서 깨어나는 시간


지난 10여 년간 IT 업계는 "All-in Cloud"라는 거대한 믿음 위에 서있었습니다. 이사회와 경영 전략 보고서에서 클라우드 전환은 단순한 인프라 변경이 아닌, 곧 기업의 혁신 지수이자 성공적인 디지털 전환을 증명하는 유일한 성적표로 통용되었습니다. 물리적인 서버실을 유지하는 것은 마치 스마트폰 시대에 삐삐를 고집하는 것과 같은 구시대적 유물로 치부되었고, 서버리스는 우리가 도달해야 할 유토피아처럼 여겨졌습니다. 하지만 영원한 유토피아는 없었고, 우리 책상 위에는 거액의 청구서가 도착했습니다. 우리가 철썩같이 믿었던 무한한 유연성과 사용한 만큼만 낸다(Pay-as-you-go)는 합리성은 냉혹한 현실 앞에서 균열을 일으키고 있습니다. 초기 인프라 투자 여력이 없고 시장성을 검증해야 하는 초기 스타트업에게 클라우드는 여전히 신이 내린 축복이자 가장 강력한 무기입니다. 하지만 이야기는 비즈니스가 궤도에 오르고 트래픽이 예측 가능한 규모로 성장하는 스케일업 단계에서 급반전됩니다. 한때 합리적이라 믿었던 클라우드 비용이, 사실은 매출이 늘어날수록 기하급수적으로 불어나 기업의 영업이익을 갉아먹는 '영원히 끝나지 않는 고액 월세'가 되어버렸습니다. 자체 데이터센터를 구축했다면 이미 감가상각이 끝나 자산이 되었을 비용들이, 클라우드라는 명목하에 매달 거대 테크 기업으로 흘러가고 있습니다. 이는 단순한 비용 문제를 넘어 기업의 독자적인 생존력을 위협하는 구조적인 족쇄가 되고 있습니다. 이제 클라우드 만능주의의 시대는 막을 내리고 있습니다. 무조건적인 '클라우드 퍼스트' 전략은 더 이상 혁신의 상징이 아닌, 비용 구조에 대한 치열한 고민을 회피하는 '게으른 의사결정'이 되고 있습니다. 이제 우리는 실질적인 마진율 방어와 지속 가능한 성장을 위해, 한때 낡은 것이라 치부하고 떠나왔던 길인 클라우드 송환과 온프레미스 회귀를 금기 없이 테이블 위에 올려놓아야 합니다.  


2. 현상 분석: '호텔 캘리포니아'와 37signals의 반란 


이러한 흐름에 결정적인 방아쇠를 당긴 것은 프로젝트 관리 툴 Basecamp로 유명한 '37signals'의 반란이었습니다. 그들은 현대 웹 개발의 표준 프레임워크인 '루비 온 레일즈(Ruby on Rails)'를 탄생시키며 실리콘밸리 개발 문화를 선도해 온 상징적인 기업입니다. 가장 트렌디해야 할 그들이 2023년, "우리는 클라우드를 떠난다"고 공개 선언하며 AWS에서 온프레미스(자체 데이터센터)로의 회귀를 감행한 사건은 IT 업계에 큰 충격을 던졌습니다.   이유는 바로 '비용 구조의 불합리성'이었습니다. 37signals는 탈(脫) 클라우드를 통해 향후 5년 동안 약 700만 달러(한화 약 97억 원)를 절감할 수 있다는 구체적이고 적나라한 계산서를 세상에 공개했습니다. 그들이 최고 사양의 델(Dell) 서버를 직접 구매하여 구축한 하드웨어 비용은 놀랍게도 AWS 1년 치 사용료에도 미치지 않았습니다. 즉, 1년도 채 되지 않아 투자 비용의 손익분기점을 넘기고, 남은 4년 이상은 고스란히 기업의 순이익으로 전환되는 구조를 증명해 보인 것입니다. 37signals의 CTO이자 공동 창업자인 데이비드 하이네마이어 핸슨은 자신의 블로그를 통해 다음과 같이 일갈하며 업계의 맹신을 꼬집었습니다. "아마존의 마진이 왜 우리 회사의 비용이 되어야 하는가? (Why should Amazon's margin be our cost?)" 그는 클라우드 벤더들이 제공하는 관리의 편의성이 터무니없이 비싼 프리미엄을 요구하고 있으며, 비즈니스가 성숙 단계에 접어든 기업에게 그 프리미엄은 더 이상 합리적인 투자가 아닌 낭비라고 지적했습니다. 하지만 단순히 비용 문제보다 기업들을 더 깊은 절망에 빠뜨리는 것은 이른바 '호텔 캘리포니아 효과(Hotel California Effect)'입니다. 1970년대 록 밴드 이글스의 명곡 가사처럼, "체크아웃은 원할 때 언제든 할 수 있지만, 결코 떠날 수는 없는(You can check out any time you like, but you can never leave)" 기형적인 구조가 클라우드 시장을 지배하고 있기 때문입니다. 클라우드 벤더들은 데이터를 넣을 때는 무료라며 레드카펫을 깔아주지만, 데이터를 뺄 때는 막대한 데이터 송신 비용을 청구합니다. 이는 일종의 '데이터 인질극'과 다름없습니다. 서비스 규모가 커지고 데이터가 쌓일수록, 다른 곳으로 이전하는 비용이 서버를 새로 짓는 비용보다 더 비싸지는 역설적인 상황이 발생합니다. 여기에 더해 벤더마다 상이하고 복잡한 요금 체계, 그리고 특정 클라우드에서만 작동하는 전용 서비스들은 기업의 기술 스택을 특정 벤더에 영구적으로 종속시키는 강력한 해자로 작동합니다. 결국 많은 기업이 탈출에 필요한 막대한 비용과 기술적 난이도에 겁을 먹고, 울며 겨자 먹기로 매달 날아오는 고액의 청구서를 묵인하고 있습니다.  


3. 새로운 기폭제: AI, 그리고 멈추지 않는 GPU 전쟁? 


기존의 클라우드 회의론이 단순히 '비용 효율화'라는 불씨 수준이었다면, 생성형 AI의 등장은 그 불만 더미에 기름통을 들이부은 격이 되었습니다. 바야흐로 'GPU 전쟁'의 시대, 클라우드 비용 문제는 단순한 재무적 부담을 넘어 기업의 생존 지속성을 위협하는 뇌관이 되고 있습니다. 거대 언어 모델(LLM)의 학습과 추론을 위해 필요한 GPU 자원은 그야말로 천문학적인 비용을 요구합니다. 클라우드 벤더들조차 엔비디아(NVIDIA)의 H100 같은 고성능 GPU를 확보하기 위해 전쟁을 치르고 있으며, 그 희소성에 대한 비용은 고스란히 비싼 임대료가 되어 고객사에게 전가됩니다. 이 지점에서 우리는 비즈니스의 본질을 꿰뚫는 질문을 던져야 합니다. "당신은 택시를 타고 전국 일주를 하시겠습니까?" 목적지가 가깝거나 가끔 이동해야 하는 단거리 여정(일시적인 실험이나 PoC)이라면 택시는 더할 나위 없이 훌륭한 선택입니다. 하지만 365일 24시간 쉬지 않고 고속도로를 달려야 하는 상황(지속적인 AI 학습 및 대규모 서비스 운영)이라면 이야기는 달라집니다. 택시 미터기의 요금은 순식간에 고급 세단 한 대 값을 훌쩍 넘어설 것입니다. 지금의 클라우드 GPU 임대 시장은 AI 서비스가 본궤도에 올라 트래픽이 폭발할수록, 매달 지불해야 하는 클라우드 비용은 기하급수적으로 늘어납니다. 더 뼈아픈 사실은 그렇게 막대한 비용을 지불하고도 우리 손에 남는 자산은 아무것도 없다는 점입니다. 반면, 직접 GPU 서버를 구축한다면 초기 투자비는 들지언정 그 고성능 하드웨어는 온전히 회사의 자산으로 남습니다. AI 시대는 임대와 소유의 경제학이 완전히 뒤집히는 거대한 변곡점입니다. 비용 문제만큼이나 기업들을 온프레미스로 이끄는 것은 '데이터 주권(Data Sovereignty)'과 보안의 공포입니다. AI 시대에 기업의 고유 데이터와 이를 기반으로 파인튜닝된 모델은 곧 기업의 핵심 경쟁력이자 그 누구도 넘볼 수 없는 해자입니다. 하지만 퍼블릭 클라우드라는 공용 공간에 가장 민감한 데이터를 올리고, 외부 인프라에 의존해 기업의 핵심 두뇌를 구동하는 것은 경영진에게 본능적인 불안감을 줍니다.   "우리의 데이터가 벤더의 AI 모델 학습에 은연중에 쓰이지는 않을까?", "클라우드 정책이나 보안 사고 한 번에 우리 AI 서비스가 멈추지는 않을까?"   이러한 실존적 불안과 비용의 압박은 온프레미스 GPU 팜(On-premise GPU Farm)의 화려한 부활을 이끌고 있습니다. 선도적인 기업들은 이제 물리적 보안이 보장된 자체 데이터센터나 코로케이션 시설 내에 독자적인 GPU 클러스터를 구축하고 있습니다. 이는 단순한 과거로의 회귀가 아닌, AI라는 가장 값비싼 자원을 가장 효율적이고 안전하게 통제하기 위한 더할 나위 없이 전략적이고 미래지향적인 선택입니다.  


4. 기술적 배경: 마법은 더 이상 독점되지 않는다 


경영진이 재무제표를 흔들며 '탈 클라우드'를 외쳐도, 키보드를 두드리는 실무 엔지니어링 조직이 반대한다면 이 거대한 이주는 불가능합니다. 그리고 과거 엔지니어들이 온프레미스를 기피하고 클라우드를 맹신했던 이유는 명확했습니다. 바로 물리 서버를 직접 관리하며 겪어야 했던 끔찍한 운영의 고통 때문입니다. 새벽에 터지는 서버 장애, 복잡한 로드 밸런싱, 데이터베이스 이중화, 트래픽에 따른 오토 스케일링... 과거에는 이 모든 것이 소위 인프라 장인들의 밤샘 노동으로 유지되던 영역이었습니다. 하지만 AWS와 같은 클라우드 벤더들은 이 복잡함을 버튼 몇 번으로 해결해 주는 마법을 부렸습니다. 기업들은 그 마법 같은 편의성을 빌려 쓰는 대가로 기꺼이 비싼 수수료를 지불해 왔습니다. 하지만 2025년 현재, 인프라 기술의 민주화 시대가 도래하며 마법이 깨졌습니다. 그 거대한 변화의 중심에는 '쿠버네티스(Kubernetes)'가 있습니다. 과거에는 수석 엔지니어 수십 명이 몇 달을 매달려야 구축할 수 있었던 고가용성 인프라 환경이, 이제는 성숙해진 오픈소스 생태계를 통해 누구나 구축 가능한 범용 기술이 되었습니다. 컨테이너 오케스트레이션의 사실상 표준이 된 쿠버네티스는 하드웨어의 복잡성을 완벽하게 추상화해 줍니다. 이제 개발자는 밑단에 깔린 인프라가 AWS인지, 구글 클라우드인지, 아니면 우리 회사 전산실 구석에 있는 베어메탈 서버인지 신경 쓸 필요가 없어졌습니다. 쿠버네티스만 깔려 있다면, 어디서든 동일한 배포 환경과 유연성을 누릴 수 있게 된 것입니다. - 여기에 프로메테우스(Prometheus)와 그라파나(Grafana) 같은 모니터링 도구, 젠킨스(Jenkins)나 아르고CD(ArgoCD) 같은 배포 자동화(CI/CD) 파이프라인, 그리고 오픈소스 데이터베이스 관리 도구들이 엔터프라이즈급으로 고도화되었습니다. 과거 클라우드 콘솔에서만 가능했던 '원클릭 편의 기능'들을 이제는 오픈소스 조합만으로도 자체 인프라에서 충분히, 훨씬 저렴하게 구현할 수 있습니다. 37signals가 과감하게 탈 클라우드를 감행할 수 있었던 자신감 또한 "최신 오픈소스 도구들을 활용하면, 소수의 정예 멤버로도 대규모 트래픽을 충분히 감당할 수 있다"는 기술적 확신에서 나왔습니다. 물리적인 하드웨어 교체나 전력 관리 같은 물리적 노동은 여전히 존재합니다. 하지만 소프트웨어 기술 장벽이 획기적으로 낮아진 지금, 클라우드 벤더에게 지불하던 그 막대한 편의성 프리미엄은 더 이상 정당화되기 어렵습니다. 기술은 독점되지 않고 널리 퍼져나갔으며 이는 기업들이 잃어버렸던 인프라의 통제권을 다시 손에 쥘 수 있는 가장 강력한 무기가 되고 있습니다. 이제 클라우드 네이티브(Cloud Native) 기술을 구현하기 위해, 반드시 퍼블릭 클라우드 장소에 있을 필요는 없습니다.  


5. 핀옵스(FinOps)의 역설: 엔지니어는 코드를 짜야 한다 


우리가 클라우드에 지불하는 비용에는 단순히 서버 사용료만 포함된 것이 아닙니다. 눈에 보이지 않는 더 큰 비용이 숨어 있습니다. 클라우드 도입 초기에 우리는 "인프라 관리의 번거로움에서 해방되어 서비스 개발에만 집중하겠다"고 다짐했습니다. 하지만 지금의 현실에서는 복잡해도 너무 복잡해진 클라우드 요금 체계를 이해하고 방어하기 위해, '핀옵스(FinOps)'라는 거창한 이름의 전담 조직을 신설하거나 고액 연봉을 받는 시니어 엔지니어를 청구서 분석에 투입하고 있습니다. 혁신적인 기능을 개발해야 할 핵심 인재들이 AWS의 비용 절감 옵션이나 스팟 인스턴스 전략을 짜느라 엑셀 표와 씨름하고 있는 이 상황은 명백한 아이러니입니다. 클라우드 벤더가 만든 의도된 복잡성을 해결하기 위해 우리 회사의 귀한 인적 자원이 소모되고 있는 것입니다. 온프레미스의 비용 구조는 지루할 정도로 단순하고 예측 가능합니다. 하드웨어 구매 비용, 상면 비용, 전력비, 그리고 인건비. 이것이 전부입니다. 다음 달 청구서에 '0'이 하나 더 붙을까 전전긍긍할 필요가 없으며, CFO는 확정된 예산 안에서 안정적으로 자금을 운용할 수 있습니다. 비즈니스에서 불확실성은 가장 큰 리스크입니다. 역설적이게도 한때 유연함의 상징이었던 클라우드는 이제 변동성이 큰 비용 리스크가 되었고, 딱딱하다고 여겨졌던 온프레미스는 재무적 예측 가능성을 제공하는 안정적인 토대가 되었습니다.   


6. 성능의 역설 : 분산의 환상과 단일의 강력함 


우리가 클라우드에 갇혀 놓치고 있는 또 하나의 진실은 바로 성능과 단순함입니다. 지난 수년간 클라우드 업계는 "넷플릭스처럼 해야 한다"며 모든 시스템을 잘게 쪼개는 마이크로서비스 아키텍처를 강요하다시피 했습니다. 작은 서비스들이 네트워크를 통해 통신하는 이 복잡한 구조는 구글이나 넷플릭스 같은 '초거대 기업'에게는 필수였을지 모르지만, 대다수의 기업에게는 잡아야 할 벼룩에 비해 너무 큰 망치였습니다. 클라우드 환경에서 서비스 간 통신이 늘어날수록 지연 시간은 필연적으로 증가합니다. 하지만 우리는 "확장성을 위한다"는 명분 아래 느려진 속도를 용인해 왔습니다. 반면, 최신 온프레미스 서버의 스펙은 경이로울 정도로 진화했습니다. 최신 NVMe SSD와 128 코어 CPU, 수 테라바이트의 메모리를 탑재한 몬스터 서버 한 대는 클라우드에서 잘게 쪼개진 인스턴스 수십 대보다 훨씬 더 빠른 처리 속도를 자랑합니다. 네트워크를 타고 데이터를 주고받을 필요 없이, 메모리 내부에서 모든 처리가 순식간에 끝나기 때문입니다. 스택오버플로우(Stack Overflow) 같은 전 세계적인 트래픽을 처리하는 사이트조차 소수의 거대한 온프레미스 서버로 운영된다는 사실을 알고 계신가요? 그들은 "하드웨어가 저렴하다면, 복잡한 분산 시스템을 만드는 것보다 그냥 더 좋은 서버를 사서 꽂는 것이 훨씬 경제적이고 빠르다"는 진리를 알고 있습니다. 고성능 하드웨어는 단순히 비용을 아끼는 것을 넘어, 고객에게 더 빠른 반응 속도를 제공하고 엔지니어들에게는 유지보수의 고통을 덜어주는 기술적 쾌거가 될 것입니다. 때로는 무식할 정도로 강력한 하드웨어 한 대가, 수백 명의 엔지니어가 짠 복잡한 클라우드 아키텍처를 이길 수 있습니다.  


7. 또 다른 뇌관: SaaS라는 이름의 보이지 않는 빙산 


우리가 받아보는 청구서의 맨 윗줄에는 AWS나 구글 클라우드의 인프라 비용이 적혀 있습니다. 하지만 시선을 조금만 아래로 내리면, 인프라 비용만큼이나 거대해진 또 다른 뇌관인 클라우드 생태계에 기생하는 상용 SaaS의 늪을 만나게 됩니다. 클라우드 퍼스트 전략은 필연적으로 "직접 구축하지 말고 사서 쓰자"는 문화를 만들고 있습니다. 로그 수집을 위해 데이터독(Datadog)을 쓰고, 데이터 웨어하우스를 위해 스노우플레이크(Snowflake)를 씁니다. 클릭 몇 번으로 연동되는 이 편리함 때문에 트래픽이 늘어날 때마다 이들 SaaS 비용이 인프라 비용을 추월하는 기현상을 만들어냅니다. 업계에서는 "AWS 비용 줄이려다 데이터독 요금 폭탄 맞았다"는 이야기가 심심찮게 들려옵니다. 탈(脫) 클라우드와 온프레미스 회귀가 갖는 진짜 의미는 단순히 서버를 사는 것이 아닌, 편리함이라는 명목하에 외주화했던 핵심 기술들을 오픈소스를 통해 내재화하는 과정입니다. 상용 모니터링 툴 대신 프로메테우스와 그라파나를 구축하고 비싼 관리형 데이터베이스 대신 자체적인 PostgreSQL 클러스터를 운영하는 것은 단순히 비용을 10분의 1로 줄이는 것을 넘어, 우리 엔지니어링 팀이 남의 도구에 의존하지 않고 시스템의 밑바닥까지 이해하고 통제할 수 있는 기술력을 기르는 기회가 될 수 있습니다.   


8. 대안 제시: 하이브리드 2.0과 스마트 클라우드 전략 


그렇다면 우리는 모든 서버를 뜯어서 다시 사내 전산실로 가져오는 극단적 회귀를 선택해야 할까요? 아닙니다. 우리가 거부해야 할 것은 '무조건적인 All-in Cloud'라는 도그마이지, 클라우드 기술 자체가 아닙니다. 여기서 우리는 과거의 관성을 깬 '하이브리드 2.0'이라는 새로운 패러다임을 주목해야 합니다. 과거의 하이브리드 클라우드(1.0)는 퍼블릭 클라우드로 완전히 넘어가기 전, 기술적 부채나 보안 규제 때문에 어쩔 수 없이 머무르는 불편한 과도기로 인식되었습니다. 즉, 언젠가는 탈출해야 할 불완전한 단계였습니다. 하지만 지금 정의하는 하이브리드 2.0은 다릅니다. 이것은 어쩔 수 없는 선택이 아니라, 철저한 비용 편익 분석을 통해 설계된 전략적 최적의 상태라고 볼 수 있습니다. 이 최적화를 달성하기 위해서는 '스마트 클라우드’, 즉 워크로드의 성격에 따른 냉철한 이원화 전략이 필수적입니다. 그 판단의 기준은 바로 변동성입니다.

  • 퍼블릭 클라우드의 영역 트래픽이 언제 폭주할지 모르는 이벤트성 서비스, 시장 반응을 살피기 위한 베타 테스트, 빠르게 치고 빠져야 하는 실험적인 기능(PoC)들은 여전히 퍼블릭 클라우드가 정답입니다. 클라우드의 무한한 탄력성은 예측 불가능한 상황에서 리스크를 헤징하는 최고의 보험이라고 할 수 있습니다.
 
  • 온프레미스/코로케이션의 영역 24시간 365일 일정하게 돌아가는 백엔드 서비스, 코어 데이터베이스, 그리고 막대한 연산 자원을 지속적으로 소모하는 대규모 AI 학습 모델은 과감하게 송환해야 합니다. 예측 가능한 기저 부하를 클라우드에 두는 것은 1년 내내 거주할 집을 비워두고 비싼 일일 숙박비를 내며 호텔 장기 투숙을 하는 것과 경제적으로 다를 바 없습니다.

  이 전략을 실행하기 위해 리더십의 KPI 또한 재정의되어야 합니다. C-Level 임원들은 더 이상 "클라우드 전환율"을 혁신의 지표로 삼아서는 안 됩니다. 대신 워크로드당 단위 비용을 핵심 지표로 삼아야 합니다. "이 트래픽을 처리하는 데 드는 비용이 어디가 더 저렴한가?"를 끊임없이 묻고, 워크로드를 유연하게 배치하는 능력이야말로 하이브리드 2.0 전략의 핵심입니다.  


9. 결론: 도구는 도구일 뿐, 종교가 아니다 


긴 이야기를 돌아왔지만, 오해하지 말아야 할 것은 '클라우드 무용론'을 주장하는 것이 아닙니다. 클라우드는 인류가 개발한 가장 강력하고 유연한 IT 인프라 도구임에 틀림없습니다. 다만 문제는 우리가 이 도구를 비즈니스의 목적을 달성하기 위한 수단이 아닌, 반드시 따라야 할 종교처럼 맹신해 왔다는 데 있습니다. 망치만 들고 있으면 세상 모든 문제가 못으로 보이듯, '클라우드 퍼스트'라는 안경을 쓰고 있으면 비용 효율적인 온프레미스 솔루션조차 '구식 기술'로 치부하게 됩니다. 하지만 진정한 기술적 성숙함은 유행을 쫓는 것이 아니라, 현재 우리 비즈니스의 상황에 가장 적합한 도구를 냉철하게 선택하는 데서 옵니다. 비즈니스의 성숙도에 따라 인프라 전략은 유연하게 변해야 합니다. 속도가 생명인 초기 스타트업에게 클라우드는 여전히 정답이지만, 규모의 경제를 실현해야 하는 성숙한 기업에게 무조건적인 클라우드 잔류는 독이 될 수 있습니다. 이제 우리는 기술적 허영심을 버리고 숫자를 직시해야 합니다. 지난 10년이 아키텍처의 우아함을 추구했던 ‘클라우드 네이티브’의 시대였다면, 앞으로의 10년은 실질적인 수익성을 증명해야 하는 ‘마진 네이티브’의 시대가 될 것입니다. 남들이 다 간다고 해서 불안해하며 따라가던 FOMO(Fear Of Missing Out)의 시대는 지났습니다. 이제는 남들의 시선이 아닌, 우리 회사의 재무제표와 워크로드를 들여다보십시오. 그곳에 진짜 정답이 숨어 있을 것입니다.    

참 고 문 헌

  1. David Heinemeier Hansson (2022.10.19)."Why we're leaving the cloud"
  2. David Heinemeier Hansson (2023.01.12)."We stand to save $7m over five years from our cloud exit”
  3. 37signals (Fernando, 2023.01.11)."The hardware we need for our cloud exit"
  4. Sarah Wang & Martin Casado (2021.05.27)."The Cost of Cloud, a Trillion Dollar Paradox"
  5. Matthew Prince & Nitin Rao (2021.07.23)."AWS’s Egregious Egress"
  6. Nick Craver (2016.02.17)."Stack Overflow: The Architecture - 2016 Edition"
  7. FinOps Foundation."What is FinOps?"

저작권 정책

SaaS 전환지원센터의 저작물인 『클라우드 퍼스트 대탈출: 우리는 왜 다시 서버를 사들이는가』은 SaaS 전환지원센터에서 파프리카데이터랩 김유빈 대표에게 집필 자문을 받아 발행한 전문정보 브리프로, SaaS 전환지원센터의 저작권정책에 따라 이용할 수 있습니다. 다만 사진, 이미지, 인용자료 등 제3자에게 저작권이 있는 경우 원저작권자가 정한 바에 따릅니다.