AI 기술: WattGPU: Predicting Inference Power and Latency on Unseen GPUs and LLMs

신발을 안 신어보고도 발에 맞는지 아는 방법?

여러분, 신발 가게에 갔다고 상상해 보세요.

신발이 100켤레 있어요. 어떤 신발이 내 발에 딱 맞을까요?

가장 확실한 방법은 100켤레를 전부 신어보는 거예요. 하지만 너무 힘들고, 시간도 오래 걸리겠죠?

그런데 만약 발 크기와 신발 크기 숫자만 보고 "이 신발이 맞겠네!"라고 알 수 있다면 어떨까요? 훨씬 편하겠죠.

오늘 소개할 와트지피유(WattGPU)가 바로 그런 기술이에요. 신발 대신, AI와 컴퓨터 부품 이야기지만요!

AI는 전기를 아주 많이 먹어요

챗봇 같은 AI는 GPU라는 특별한 컴퓨터 부품 위에서 일해요.

GPU는 AI의 '일터'라고 생각하면 돼요.

그런데 이 일터는 전기를 엄청나게 많이 써요. AI를 쓰는 사람이 많아질수록, 전 세계 데이터 센터의 전기 사용량도 쑥쑥 늘고 있어요.

그래서 어른들은 이런 고민을 해요.

"이 AI는 어떤 GPU에서 돌려야 전기를 덜 쓸까?"

"어떤 GPU가 대답을 더 빨리 해줄까?"

옛날 방법 vs 새로운 방법

이 글의 핵심은 두 가지 방법을 비교하는 거예요.

방법 1: 전부 신어보기 (직접 실험)

AI가 42종류, GPU가 8종류 있다고 해봐요.

모든 짝을 실험하려면 42 곱하기 8, 무려 336번이나 실험해야 해요!

실험 한 번 한 번이 돈도 들고, 전기도 들고, 시간도 들어요.

게다가 아직 사지도 않은 새 GPU는 실험해 볼 수조차 없어요.

방법 2: 숫자만 보고 맞히기 (와트지피유)

와트지피유는 실험을 하지 않아요.

대신 누구나 볼 수 있는 설명서 숫자만 봐요.

AI의 크기(뇌세포가 몇 개인지), GPU의 성능(계산 속도, 메모리 속도) 같은 정보요.

이 숫자들을 보고 "이 짝꿍은 전기를 이만큼 쓰고, 속도는 이 정도일 거야!"라고 예측해요.

마치 발 크기 숫자만 보고 신발이 맞는지 아는 것처럼요.

일기예보와 비슷해요

또 다른 비유를 들어볼게요. 바로 일기예보예요.

내일 비가 올지 알고 싶다고 해서, 내일까지 기다렸다가 하늘을 보는 사람은 없죠?

기상청은 기온, 바람, 구름 같은 정보를 모아서 미리 예측해요.

와트지피유도 똑같아요. 진짜로 AI를 돌려보지 않고, 미리 알려진 정보만으로 결과를 예측해요.

일기예보가 가끔 틀리듯이 예측도 조금은 틀릴 수 있어요. 하지만 연구 결과, 전기 사용량 예측은 실제 값과 3~13퍼센트 정도밖에 차이가 안 났어요. 꽤 정확하죠?

더 대단한 점: 처음 보는 것도 맞혀요

보통 예측 프로그램은 한 번이라도 본 것만 잘 맞혀요.

그런데 와트지피유는 한 번도 본 적 없는 새 GPU나 새 AI도 예측할 수 있어요.

연구팀은 이걸 확인하려고 재미있는 시험을 했어요.

GPU 하나를 일부러 숨겨놓고 공부시킨 다음, 숨겼던 GPU를 맞혀보게 한 거예요.

마치 사과, 배, 포도로 과일 공부를 한 친구에게 처음 보는 귤을 보여주고 "이것도 과일이야?"라고 물어보는 것과 같아요.

와트지피유는 이 시험을 잘 통과했어요!

다른 예측 방법과도 겨뤄봤어요

사실 예전에도 간단한 예측 방법이 있었어요.

예를 들어 "GPU 설명서에 적힌 최대 전력의 몇 퍼센트쯤 쓰겠지"라고 어림하는 방법이에요.

이건 마치 "키가 크니까 밥을 두 배로 먹겠지"라고 대충 짐작하는 것과 비슷해요. 맞을 때도 있지만 많이 틀려요.

와트지피유는 이런 옛날 어림짐작보다 2배에서 4배나 더 정확했어요.

그리고 "어떤 GPU가 1등으로 효율적인지" 순위를 매기는 것도 아주 잘했어요. 순위만 잘 맞혀도, 회사들은 "아, 이 GPU를 사면 되겠구나!" 하고 결정할 수 있거든요.

왜 이게 중요할까요?

AI가 쓰는 전기를 줄이면 좋은 점이 많아요.

첫째, 지구가 좋아해요. 전기를 만들 때 나오는 온실가스가 줄어들거든요.

둘째, 돈이 절약돼요. 전기 요금이 줄어드니까요.

셋째, 실험에 낭비되는 시간과 자원도 아낄 수 있어요.

AI와 GPU의 짝을 잘 맞춰주는 것만으로도 이 모든 게 가능해져요.

오늘 배운 것 정리!

• AI는 GPU라는 일터에서 일하고, 전기를 아주 많이 써요.
• 옛날 방법은 모든 AI와 GPU 짝을 직접 실험하는 것 — 신발 100켤레를 다 신어보는 것처럼 힘들어요.
• 와트지피유는 설명서 숫자만 보고 전기 사용량과 속도를 예측해요 — 일기예보처럼요.
• 처음 보는 GPU와 AI도 맞힐 수 있고, 옛날 어림짐작보다 2~4배 정확해요.
• 덕분에 전기를 아끼고 지구도 지킬 수 있어요!

다음에 AI 챗봇을 쓸 때, 이렇게 생각해 보세요. "지금 어딘가의 GPU가 열심히 일하고 있구나. 그리고 누군가는 그 전기를 아끼려고 예측 기술을 만들고 있구나!" 하고요.

출처

• WattGPU: Predicting Inference Power and Latency on Unseen GPUs and LLMs