AI 게이트웨이(AI Gateway)란? 개념부터 국내 기업 도입 가이드까지
지난달 법인카드 명세서에 OpenAI 결제가 세 건 찍혀 있었습니다. 개발팀 하나, 마케팅팀 하나, 누가 만들었는지 모르는 계정 하나. 금액은 제각각인데 어느 프로젝트에서 얼마를 썼는지 아는 사람이 없습니다. AI를 조금이라도 써본 회사라면 한 번쯤 겪는 일입니다.
팀마다 API 키를 따로 발급받고 결제 수단도 제각각이고, 퇴사자가 만든 키는 살아 있는지 죽었는지 확인할 길이 없는 상태. 이 문제를 풀려고 나온 서비스가 AI 게이트웨이입니다.
AI 게이트웨이란 무엇인가
AI 게이트웨이(AI Gateway)는 애플리케이션과 OpenAI, Anthropic, Google 같은 AI 모델 제공사 사이에 놓이는 중간 관리 계층입니다. 모든 AI API 요청이 이 관문을 거쳐 나갑니다. 그래서 누가 어떤 모델을 얼마나 썼는지 한곳에서 집계되고 키 발급과 예산 통제도 중앙에서 이뤄집니다. LLM 게이트웨이(LLM Gateway)라고 부르기도 합니다.
기존 API 게이트웨이와 헷갈리기 쉬운데, 역할이 다릅니다. API 게이트웨이가 트래픽 라우팅과 인증을 다룬다면, AI 게이트웨이는 거기에 토큰 사용량 집계, 모델별 비용 계산, 프롬프트 로깅처럼 AI 특유의 운영 문제를 얹었습니다.
왜 필요한가
먼저 비용입니다. LLM API는 쓴 만큼 과금되는 구조라 한도를 걸어두지 않으면 청구서가 예측이 안 됩니다. 실수로 반복문에 API 호출을 넣은 채 하루를 돌리면 그달 예산이 그날 끝납니다. 게이트웨이는 키 단위, 팀 단위로 예산 한도와 만료일을 걸어 이런 사고를 막습니다.
두 번째는 보안입니다. API 키가 슬랙 메시지와 노션 페이지에 평문으로 굴러다니는 회사가 생각보다 많습니다. 키가 새면 남의 사용량까지 내 카드로 결제됩니다. 게이트웨이를 쓰면 원본 키는 한곳에 숨겨두고 구성원에게는 권한과 한도가 붙은 하위 키만 나눠줍니다.
마지막은 멀티모델 운영입니다. 요즘은 한 회사가 GPT, Claude, Gemini를 용도별로 섞어 씁니다. 코드 리뷰는 Claude, 대량 분류 작업은 저렴한 모델, 이미지 생성은 또 다른 모델. 프로바이더마다 계정과 청구서가 따로 생기니 관리 비용이 모델 수에 비례해서 늘어납니다. 게이트웨이는 이걸 엔드포인트 하나로 묶습니다.
직접 구축할 수도 있다, 다만
LiteLLM 같은 오픈소스로 게이트웨이를 직접 세우는 방법도 있습니다. 엔지니어링 여력이 있는 조직이라면 나쁘지 않은 선택입니다. KT 같은 대기업 기술 블로그에도 LiteLLM 기반 구축 사례가 올라와 있습니다.
문제는 그다음입니다. 게이트웨이 서버를 누가 운영하고 장애가 나면 누가 새벽에 일어나고, 신모델이 나올 때마다 누가 붙이는지. 프록시 하나 띄우는 일과 그걸 전사 인프라로 유지하는 일은 전혀 다릅니다. 오픈소스를 쓰든 직접 만들든 해외 결제와 정산 문제는 그대로 남습니다.
국내 기업의 진짜 골칫거리는 ‘정산’이다
기술보다 먼저 걸리는 건 돈입니다. OpenAI도 Anthropic도 국내 사업자가 아니라서 세금계산서가 나오지 않습니다. 법인카드 해외 결제로 처리하고 환율 붙고, 프로바이더 수만큼 인보이스가 따로 날아옵니다. 재무팀에게는 매달 반복되는 수작업이고, 예산 품의를 올리는 실무자 입장에서는 근거 자료 만드는 게 일입니다.
해외 게이트웨이 서비스와 국내 서비스가 갈리는 대목이 여기입니다. Cloudflare나 Portkey 같은 해외 서비스는 기능은 훌륭하지만 정산은 여전히 해외 결제입니다.
주요 선택지를 나란히 놓고 보면 차이가 분명해집니다.
구분 | 렛서 AI 게이트웨이 | OpenRouter | Cloudflare AI Gateway | LiteLLM (오픈소스) |
|---|---|---|---|---|
형태 | 국내 매니지드 서비스 | 해외 매니지드 서비스 | CDN 부가 서비스 (BYOK 프록시) | 셀프호스팅 |
과금 방식 | 사용량 기반, 원화 정산 | 크레딧 선충전 + 충전액의 5.5% 수수료 | 게이트웨이 무료, 모델 비용은 프로바이더별 직접 결제 | 소프트웨어 무료, 서버·운영 비용 별도 |
세금계산서 | 발행 | 미발행 (해외 결제) | 미발행 (해외 결제) | 프로바이더별 해외 결제 그대로 |
청구서 | 매월 한 장으로 통합 | OpenRouter 크레딧으로 일원화 | 프로바이더별 각자 | 프로바이더별 각자 |
모델 범위 | 텍스트·이미지·영상 90종+ | 텍스트 중심 (일부 이미지) | 연동 프로바이더 프록시 | 직접 구성 (연동 폭 넓음) |
IP 화이트리스트 | 제공 | Enterprise 플랜 전용 | 자체 기능 없음 (Cloudflare Access 별도 구성) | 유료 Enterprise 라이선스 |
기술 지원 | 한국어, 국내 전문 인력 | 영어 | 영어 | 커뮤니티 |
운영 부담 | 없음 | 없음 | 낮음 | 서버 운영·모델 갱신 직접 |
기능만 보면 어느 쪽도 부족하지 않습니다. 갈리는 건 표의 아래쪽, 세금계산서·청구서·지원·운영입니다. 그리고 이 네 줄이 바로 도입 품의를 통과시키는 줄입니다.
렛서 AI 게이트웨이: 한국 기업 기준으로 만든 관문
렛서(Letsur)의 AI 게이트웨이는 이 순서를 뒤집어 설계했습니다. 기능도 기능이지만 한국 기업의 결제·정산 관행에 먼저 맞췄습니다.
청구서 한 장, 세금계산서 발행. 여러 프로바이더에 흩어진 사용료가 매월 한 장으로 합쳐지고 세금계산서가 나옵니다. 재무팀 수작업과 해외 결제 수수료가 사라집니다.
모델 90종 이상을 엔드포인트 하나로. OpenAI, Anthropic, Google은 물론 xAI, DeepSeek, Alibaba 계열까지 텍스트 모델을 지원합니다. Seedream·Flux·GPT Image 같은 이미지 모델과 Veo·Kling 같은 영상 모델도 같은 창구에서 씁니다. OpenAI 포맷과 호환되므로 기존 코드에서 주소만 바꾸면 됩니다.
키·예산·권한 관리. 팀이나 개인 단위로 키를 발급하고 한도와 만료일을 겁니다. 구성원 권한은 Manage, Create, View로 나뉘어 관리자가 아닌 사람이 설정을 건드릴 일이 없습니다. IP 화이트리스트를 걸어두면 키가 새어 나가도 허용된 서버 밖에서는 호출이 막힙니다. 대시보드에서 사용 현황을 모델별, 사용자별로 실시간 확인합니다.
국내 전문 인력의 기술 지원. 문제가 생기면 한국어로, 한국 시간대에 답을 받습니다.
서울대학교, KAIST를 비롯한 교육기관과 연구실, AI 스타트업이 이미 쓰고 있습니다. 특히 대학 연구실과 교육 과정에서 도입이 빠릅니다. 학생 수십 명에게 키를 나눠주고 예산을 통제해야 하는 곳입니다.
도입 전 체크리스트
어떤 게이트웨이를 고르든 이 다섯 가지는 확인하고 시작하는 게 좋습니다.
쓰려는 모델을 모두 지원하는가 (텍스트만인지, 이미지·영상까지인지)
기존 코드 수정 없이 붙일 수 있는가 (OpenAI 포맷 호환 여부)
키 단위 예산 한도와 만료일 설정이 되는가
사용량이 사용자·모델·프로젝트 단위로 쪼개져 보이는가
정산 방식이 우리 회사 재무 프로세스와 맞는가 (세금계산서, 원화 정산)
AI 도입의 병목은 이제 모델 성능이 아니라 운영입니다. 흩어진 키와 청구서를 정리하는 것만으로도 AI 예산의 구멍이 어디였는지 보이기 시작합니다.
렛서 AI 게이트웨이는 ai-gateway.kr에서 확인할 수 있습니다.