AI는 소프트웨어처럼 보이지만 사실상 중공업이다 — AI 서비스를 만들며 깨달은 지능의 원가

AI를 쓴 서비스를 만들고 있습니다. 처음에는 무엇을 구현할 수 있는지가 가장 큰 관심사였어요. AI가 사용자의 의도를 얼마나 정확히 파악하는지, 복잡한 일을 어디까지 대신할 수 있는지에 집중했습니다.

그런데 이용자가 100명, 1천 명, 1만 명으로 늘어나는 상황을 가정해 보니 질문이 달라졌습니다. 'AI로 무엇을 할 수 있는가'가 아니라 '이 기능을 얼마나 많은 사람에게 지속적으로 제공할 수 있는가'였습니다.

일반적인 소프트웨어에도 서버 비용이 듭니다. 하지만 AI 서비스의 비용 구조는 조금 다릅니다. 사용자의 대화가 길어질수록 처리해야 할 문맥이 늘어납니다. 복잡한 작업은 한 번의 답변으로 끝나지 않고 추론과 검색, 도구 호출을 여러 차례 거칩니다. 에이전트가 중간에 실패해 재시도하면 사용자에게는 하나의 요청으로 보이지만 운영자에게는 여러 번 비용이 나갑니다.

모든 요청을 가장 뛰어난 모델에 맡기면 품질은 좋아집니다. 대신 이용자가 늘어날수록 서비스의 지속 가능성은 낮아집니다. 반대로 비용을 줄이려고 작은 모델을 쓰면 정확도와 사용자 경험이 흔들립니다. 무료 이용량과 사용 한도를 어떻게 정할지, 어느 작업에 고성능 모델을 허용할지, 반복 요청과 비정상적인 사용을 어떻게 통제할지도 함께 정해야 합니다.

AI 서비스를 설계한다는 건 결국 제한된 '지능의 예산'을 배분하는 일이더군요.

1만 명의 고민을 8억 명으로 확대한다면

이 작은 서비스의 고민을 세계적인 규모로 확대해 보면 더 큰 질문이 생깁니다.

지금 고성능 AI를 적극적으로 쓰는 사람은 전 세계 인구 중 일부에 불과합니다. 세계 인구의 10%에 해당하는 약 8억 명이 AI를 일상적으로 쓴다면 어떻게 될까요.

관건은 가입자 수가 아닙니다. AI를 얼마나 자주, 얼마나 깊게 쓰느냐입니다. 하루에 짧은 질문 몇 개를 던지는 것과 개인별 AI 에이전트 여러 개가 하루 종일 일하는 것은 전혀 다른 문제입니다.

특히 에이전트형 AI는 인간이 요청한 하나의 업무를 처리하려고 계획을 세우고 자료를 찾고 결과를 검토하며 모델을 반복해서 호출합니다. 겉으로는 클릭 한 번이지만 그 뒤에서는 수십 번의 연산이 일어납니다. 이미지와 영상 생성까지 일상화되면 필요한 자원은 더 커집니다.

국제에너지기구(IEA)는 전 세계 데이터센터의 전력 소비량이 2025년 약 485테라와트시에서 2030년 약 950테라와트시로 두 배 가까이 증가할 것으로 전망합니다. 2030년이면 세계 전력 수요의 약 3%에 해당합니다. 같은 기간 AI 중심 데이터센터의 전력 소비는 세 배로 늘어난다고 봅니다. 비중만 보면 감당할 만한 숫자처럼 보이지만 수요가 특정 지역에 몰린다는 게 문제입니다. 발전소가 있어도 전력망 연결과 변압기, 냉각시설, 데이터센터 부지를 제때 확보하지 못하면 AI 시설을 가동할 수 없습니다.

AI는 화면 속에서 작동하니 무형의 소프트웨어처럼 보입니다. 하지만 실제로는 반도체와 고대역폭 메모리, 발전설비, 송전망, 냉각장치와 물이 있어야 합니다. AI는 소프트웨어인 동시에 거대한 물리 산업이고 점점 중공업에 가까워집니다.

효율이 높아지면 해결될까

물론 AI의 효율은 계속 좋아지고 있습니다. 더 작은 모델이 나오고 전용 반도체 성능은 높아집니다. 같은 답을 만드는 데 드는 비용도 낮아질 겁니다. 자주 묻는 질문에는 저장된 답을 쓰고, 간단한 작업은 저렴한 모델에 맡기며, 어려운 문제만 고성능 모델로 보내는 방식도 발전하고 있습니다.

그러나 효율이 좋아진다고 전체 자원 소비가 곧장 줄지는 않습니다. AI 사용 비용이 낮아지면 예전에는 경제성이 없던 작업까지 AI가 맡게 되니까요. 한 번의 연산에 필요한 전력이 10분의 1로 줄더라도 사용량이 100배 늘어나면 총소비량은 오히려 증가합니다.

증기기관의 효율이 높아진 뒤 석탄 소비가 감소하기는커녕 더 늘어났던 것처럼, AI에서도 '제번스의 역설'이 나타납니다. 저렴한 지능은 지능의 절약이 아니라 새로운 수요를 만들어냅니다.

앞으로 기업은 고객 상담에 AI 한 명을 붙이는 데 그치지 않습니다. 영업, 개발, 디자인, 분석, 회계 업무마다 여러 에이전트를 동시에 가동하려 들 겁니다. 개인도 일정 관리와 정보 검색을 넘어 자기 업무를 계속 관찰하고 대신 수행하는 AI를 원하게 됩니다. AI 한 번의 가격은 낮아져도 사회 전체가 소비하는 연산량은 폭발적으로 커질 겁니다.

미래의 경쟁력은 '지능 배분 능력'이다

그렇다면 모든 사람이 지금의 최고급 AI를 무제한으로 쓰는 미래는 가능할까요. 적어도 가까운 시기에는 쉽지 않아 보입니다.

더 현실적인 모습은 계층형 구조입니다. 휴대전화와 PC의 소형 모델이 일상적인 작업을 처리하고 일반적인 업무는 중간급 클라우드 모델이 담당하며, 정말 어려운 문제에만 최고급 모델을 호출하는 방식입니다. 긴급하지 않은 작업은 전력과 서버에 여유가 있을 때 처리하면 됩니다.

서비스 운영자는 모든 요청에 동일한 수준의 연산을 제공하기보다 작업의 가치와 난도에 따라 서로 다른 양의 지능을 배분하게 됩니다. 이용자는 고성능 추론 횟수나 에이전트 가동시간, 처리 우선순위에 따라 비용을 지불합니다. 지금은 저장공간과 통신량을 요금제로 구분하지만 미래에는 '쓸 수 있는 지능의 양'을 구분하게 될지도 모릅니다.

이 변화는 새로운 격차도 만듭니다. 연산 자원이 많은 기업은 같은 시간에 더 많은 가설을 검토하고 더 많은 콘텐츠를 만들며, 더 많은 업무를 자동화합니다. 전력과 반도체를 안정적으로 확보한 국가는 그렇지 못한 국가보다 값싼 인공지능을 산업 전반에 공급합니다.

미래의 AI 경쟁력은 가장 뛰어난 모델을 보유하는 데서 나오지 않습니다. 제한된 자원 안에서 어떤 문제에 얼마만큼의 지능을 투입할 것인지 결정하는 능력에서 나옵니다.

저 역시 작은 서비스를 설계하며 같은 문제를 마주하고 있습니다. 100명에게는 아낌없이 제공할 수 있는 기능도 1만 명에게는 다른 구조가 필요하더라고요. 단순한 작업은 규칙과 기존 프로그램으로 처리하고 반복되는 결과는 재사용하며, 고성능 AI는 꼭 필요한 순간에만 부릅니다. 기술적으로 가능한 기능과 사업적으로 지속 가능한 기능을 구분해야 합니다.

제 서비스에서는 비용을 어떻게 줄이느냐가 문제였는데요. 세계적인 규모에서는 같은 고민이 전력과 반도체, 전력망의 문제가 됩니다.

한때 데이터는 '21세기의 석유'라고 불렸습니다. 하지만 AI 시대에는 데이터만으로 지능을 만들 수 없습니다. 계산할 칩과 가동할 전력, 결과를 전달할 기반시설이 함께 있어야 합니다.

AI 시대의 진짜 희소 자원은 정보가 아닙니다. 필요할 때 즉시 꺼내 쓸 수 있는 연산 능력, 다시 말해 지능을 생산할 수 있는 전력입니다.

참고 자료

• IEA, Key Questions on Energy and AI