AWS 12-1 AI를 가져다 쓰고 만든다 — Bedrock·AgentCore·SageMaker AI
고친 사람 github-actions[bot]
고객 문의를 한 줄로 요약해 주는 기능을 붙이라는 일이 떨어졌습니다. 예전 같으면 모델을 고르고, GPU 서버를 빌리고, 모델을 올려 API 로 감싸는 데서 시작했을 겁니다. 지금은 이미 학습된 큰 모델을 API 한 번으로 부르는 길이 먼저 있습니다. 그렇다면 AWS 에서 AI 기능을 붙일 때 무엇부터 고르고, 언제 모델을 내 손으로 띄우는 쪽으로 넘어가야 할까요?
이 편은 그 갈림길에 선 세 서비스를 봅니다. 여러 회사의 모델을 API 로 빌려 쓰는 Bedrock, 모델이 스스로 도구를 부르며 여러 단계를 도는 에이전트를 돌려 주는 AgentCore, 모델을 직접 학습하고 내 인스턴스에 띄우는 SageMaker AI 입니다. 끝에서는 하루 1만 건 요약을 토큰 값으로 낼 때와 GPU 엔드포인트를 한 대 켜 둘 때의 한 달 값을 나란히 셈합니다. 요금은 전부 2026-11-13 서울(ap-northeast-2) 기준입니다. 모델 요금은 Amazon Bedrock pricing 과 같은 날짜의 AWS 가격표(Price List) 서울 파일에서 읽었습니다.
지도
flowchart TD
START["애플리케이션에 붙일<br/>AI 기능"] --> Q0{"사진 라벨·음성 받아쓰기처럼<br/>할 일이 정해져 있나"}
Q0 -- "그렇다" --> DONE["완성품 AI API<br/>12-2편"]
Q0 -- "아니다" --> Q1{"남이 만든 모델을<br/>그대로 부르면 되나"}
Q1 -- "아니다" --> SM["SageMaker AI<br/>학습하고 띄운다"]
Q1 -- "된다" --> Q2{"모델이 도구를 부르며<br/>여러 단계를 스스로 도나"}
Q2 -- "그렇다" --> AC["AgentCore<br/>모델은 Bedrock 등에서"]
Q2 -- "아니다" --> BR["Bedrock<br/>필요하면 Knowledge Bases·Guardrails"]
첫 질문은 할 일이 이미 정해진 종류인지입니다. 얼굴 찾기, 음성 받아쓰기, 번역처럼 정해진 일은 AWS 가 기능 단위로 파는 API 가 있고, 그것은 12-2편(완성품 AI API)에서 봅니다. 할 일을 글로 시켜야 하는 경우에는 남이 만든 모델로 충분한지를 봅니다. 충분하면 Bedrock 이 출발점입니다. 그 모델이 도구를 여러 번 부르며 오래 돌아야 하면, 돌릴 곳으로 AgentCore 를 씁니다. 모델 자체를 내 데이터로 만들거나 고쳐야 할 때만 SageMaker AI 로 갑니다.
1. Bedrock — 모델을 API 한 번으로 부른다
GPU 없이 요약 모델을 부르려면 무엇을 보내고 무엇을 받을까요? Bedrock 은 여러 AI 회사의 파운데이션 모델(대량의 데이터로 미리 학습해 두어 여러 일에 두루 쓰는 큰 모델)을 서버 없이 API 로 부르게 해 주는 관리형 서비스입니다. 2026-11-13 기준 Amazon(Nova)·Anthropic(Claude)·DeepSeek·Moonshot AI·MiniMax·OpenAI·xAI 등의 모델 100개 이상이 올라와 있습니다(What is Amazon Bedrock?). GPU 를 빌리거나 모델 파일을 받을 일이 없고, 요청에 글을 담아 보내면 모델이 쓴 글이 답으로 옵니다.
이렇게 모델에 입력을 보내 답을 받는 일을 추론(inference)이라고 합니다. 일상어의 「짐작」이 아니라, 학습이 끝난 모델이 입력을 받아 출력을 내는 일을 가리킵니다. 아래에 나오는 배치 추론·교차 리전 추론도 이 뜻입니다.
부르는 API 는 여럿인데, 백엔드 코드에서 먼저 볼 것은 Converse API 입니다. 메시지를 주고받는 모델이면 어느 모델이든 같은 요청 모양을 써서, 모델을 바꿀 때 코드를 다시 짜지 않아도 됩니다. 모델마다 다른 설정값을 넘기는 칸이 있고, 모델이 내 함수를 부르게 하는 도구 사용도 이 API 로 합니다(Inference using Converse API). Anthropic 의 Messages API 나 OpenAI 의 Responses·Chat Completions API 모양으로도 부를 수 있어서, 그 SDK 로 짠 코드를 주소만 바꿔 붙이는 길도 있습니다.
값은 토큰으로 낸다
한 번 부를 때 무엇으로 값을 매길까요? 요금은 모델에 들어간 글과 나온 글의 토큰 수로 받습니다. 토큰은 모델이 글을 자르는 단위로, 대략 낱말 조각 하나입니다. 입력과 출력의 단가가 다르고, 출력이 몇 배 비쌉니다. 같은 회사 모델 안에서도 큰 모델과 작은 모델의 값이 크게 벌어집니다.
아래 모델 옆 괄호는 요청이 처리되는 곳입니다. 글로벌은 세계 어느 리전으로든 보내 처리하고, 서울 안은 서울에서만 처리합니다(바로 다음 소절에서 자세히 봅니다).
Bedrock 모델 요금 · 서울에서 호출 · 2026-11-13 · 100만 토큰당
입력 출력
Claude Sonnet 5.5 (글로벌) $2.00 $10.00
Claude Sonnet 5 (서울 안) $2.20 $11.00
Claude Haiku 5.5 (글로벌) $0.10 $0.50
Amazon Nova 2 Lite (글로벌) $0.36 $2.96
Amazon Nova Micro (서울 안) $0.041 $0.164
배치 추론 선택된 모델에서 온디맨드의 50%
Amazon Nova 2 Lite 배치 = 입력 $0.18 · 출력 $1.48
Claude Haiku 5.5·Sonnet 5.5 는 서울 가격표에 배치 값이 없다
- 바로 답이 필요 없는 대량 처리는 배치 추론으로 돌립니다. 프롬프트를 파일로 만들어 S3 에 올리고 작업을 걸면, 결과 파일이 S3 에 쌓입니다(Process multiple prompts with batch inference)
- Bedrock 전용 무료 사용량은 요금 페이지에 없습니다
서울에서 불러도 서울에서 처리되지 않을 수 있다
서울 리전 주소로 부르면 질문 내용도 서울에서 처리될까요? 꼭 그렇지는 않습니다. 위 표의 「글로벌」은 교차 리전 추론(cross-Region inference)을 뜻합니다. 요청을 받은 Bedrock 이 그때 여유가 있는 다른 리전의 계산 자원으로 요청을 보내 처리하는 방식입니다.
갈래는 둘입니다. 지역 교차 리전(Geographic)은 미국·유럽·아시아태평양 같은 지역 안에서만 보내고, 글로벌 교차 리전은 AWS 의 상용 리전 어디로든 보냅니다. 리전 사이의 전송은 AWS 망 안에서 암호화된 채 오갑니다. 호출 기록은 부른 리전의 CloudTrail 에 남습니다. 실제 처리 리전은 additionalEventData.inferenceRegion 칸에 찍힙니다(Route model inference requests across AWS Regions with cross-Region inference).
서울에서 Claude 를 부를 때 고를 수 있는 처리 범위는 글로벌과 서울 안 둘이고, 아시아태평양 지역 교차 리전은 없습니다(모델 카드의 Regional availability 표, 2026-11-13). 그중 서울 안을 고를 수 있는 Claude 는 Sonnet 5·Opus 5 뿐입니다. 위 표의 Sonnet 5.5·Haiku 5.5 와 그 앞 세대 Sonnet 4.6·Haiku 4.5 는 서울 가격표에 글로벌 값만 있어서, 서울에서 불러도 질문 내용이 한국 밖에서 처리될 수 있습니다. 서울 안은 글로벌보다 10% 비쌉니다. 같은 Sonnet 5 를 글로벌로 부르면 입력 $2.00 · 출력 $10.00 입니다.
지역 교차 리전이 있는 모델이라도 아시아태평양은 도쿄·싱가포르 같은 다른 나라 리전으로 보낼 수 있습니다(Geographic cross-Region inference). 그래서 데이터가 한국 밖에서 처리되면 안 되는 서비스라면, 모델과 처리 범위(글로벌·지역·서울 안)를 고를 때 이것부터 봅니다.
내 프롬프트가 모델 회사로 넘어가는지도 흔히 묻습니다. Bedrock 은 모델 회사마다 AWS 가 운영하는 배포용 계정에 모델을 복사해 돌리고, 모델 회사는 그 계정에 접근하지 못해 프롬프트와 응답을 보지 못합니다(Data protection). 다만 남용 감지를 위해 AWS 가 일정 기간 보관하는지는 모델마다 다르고, 계정의 데이터 보관 모드로 정합니다. 보관을 아예 끄는 none 으로 두면 보관을 요구하는 모델은 호출이 거부됩니다(Data retention).
내 문서로 답하게 하기 — Knowledge Bases
모델은 사내 위키나 상품 설명서를 모릅니다. 질문이 오면 내 문서에서 관련된 대목을 먼저 찾아 프롬프트에 붙여 주고, 모델이 그것을 근거로 답하게 하는 방식을 RAG(Retrieval Augmented Generation, 검색 증강 생성)라고 합니다. 문서를 임베딩(뜻이 비슷한 글끼리 가까운 숫자 배열로 바꾼 것)으로 만들어 저장하고, 질문도 임베딩으로 바꿔 벡터 검색으로 가까운 대목을 찾는 것이 보통입니다.
Bedrock Knowledge Bases 는 이 과정을 대신 짜 줍니다. 관리형 Knowledge Base 는 S3·SharePoint·Confluence·Google Drive 같은 데이터 원본만 연결하면 됩니다. 수집·색인·저장·검색은 Bedrock 이 맡고, 답에 출처도 달아 줍니다. 고객 관리형 Knowledge Base 는 벡터 저장소(OpenSearch Serverless·Aurora·Neptune 등)를 내가 골라 운영합니다(Retrieve data and generate AI responses with Amazon Bedrock Knowledge Bases). 벡터 저장소 후보 가운데 S3 Vectors 는 S3 편(02-1)에서 봤습니다. 관리형은 2026-11-13 기준 서울에 없습니다. 가까운 곳은 도쿄(ap-northeast-1)입니다(Supported AWS Regions).
들어가고 나오는 글을 거르기 — Guardrails
사용자가 넣은 글이나 모델이 내놓은 글에 욕설, 다루지 말아야 할 주제, 주민번호 같은 개인정보가 섞일 수 있습니다. Bedrock Guardrails 는 이것을 규칙으로 걸러 냅니다. 유해 콘텐츠 필터, 금지 주제, 금칙어, 개인정보를 막거나 가리는 민감 정보 필터, 답이 검색한 근거에서 벗어났는지 보는 근거 확인 같은 필터를 하나의 가드레일로 묶어 모델 호출에 붙입니다. ApplyGuardrail API 로 모델을 부르지 않고 글만 검사할 수도 있습니다(Detect and filter harmful content by using Amazon Bedrock Guardrails).
값은 검사한 글 길이로 매깁니다. 1,000자까지를 텍스트 단위 하나로 세고, 필터마다 단가가 다릅니다.
Guardrails · 서울 · 2026-11-13 · 텍스트 단위 1,000개당 (단위 하나 = 최대 1,000자)
유해 콘텐츠 필터·금지 주제 $0.15
민감 정보 필터 $0.10
근거 확인 $0.10
정규식 민감 정보·금칙어 무료
Bedrock 의 값은 건수와 글 길이에 비례하고, 쉬는 동안에는 나가는 돈이 없습니다. 대신 고를 수 있는 모델과 처리되는 곳은 카탈로그가 정해 둔 범위 안에 있습니다.
| 이럴 때 맞다 | 이럴 때 안 맞다 | 대신 치르는 것 |
|---|---|---|
| 요약·분류·답변 생성처럼 이미 나온 모델로 되는 기능을 붙일 때 | 카탈로그에 없는 모델이나 내가 학습한 모델을 써야 할 때(→ SageMaker AI) | 모델 선택과 프롬프트 손질이 품질을 정하므로 그 일을 내가 한다 |
| 호출이 들쭉날쭉하거나 아직 적을 때 | 같은 작은 모델로 하루 수십만 건을 꾸준히 돌릴 때(4절) | 건수와 글 길이만큼 청구가 그대로 커진다 |
| 바로 답이 필요 없는 대량 처리(배치 추론) | 사용자가 화면 앞에서 답을 기다리는 요청 | 결과를 S3 에서 나중에 꺼내야 한다 |
| 처리 리전을 따지지 않는 데이터(글로벌 교차 리전) | 한국 안에서만 처리해야 하는 데이터 | 서울 안 모델로 좁혀지고(Claude 는 Sonnet 5·Opus 5) 단가가 10% 오른다 |
이미 학습된 공개 모델을 내 데이터로 조금 더 학습시키는 일을 미세 조정(fine-tuning)이라고 합니다. 그렇게 만든 모델 파일, 곧 가중치(학습으로 정해진 모델 안의 숫자들)를 Bedrock 에 올려 부르는 Custom Model Import 도 있습니다. 다만 2026-11-13 기준 버지니아·오하이오·오리건·프랑크푸르트 네 리전에서만 됩니다(Use Custom model import). 서울에서 내 모델을 띄워야 한다면 SageMaker AI 로 넘어갑니다.
2. AgentCore — 에이전트를 돌릴 곳을 맡긴다
모델을 한 번 부르는 코드는 몇 줄이면 됩니다. 그런데 「지난달 환불 건을 찾아 원인별로 정리하고 담당자에게 보내라」 같은 일은 한 번에 끝나지 않습니다. 모델이 다음에 할 일을 고르고, 주문 API 나 검색 같은 도구를 부르고, 결과를 보고 다시 고르기를 여러 번 되풀이합니다. 이렇게 도는 프로그램을 에이전트라고 합니다. 이 반복을 어디서 돌릴까요?
Lambda 는 한 번 실행이 15분에서 끊깁니다(Lambda 편(01-3)). 서버에 띄우면 내가 짤 것이 넷입니다. 사용자마다 세션을 떼어 놓는 일, 대화 기억을 보관하는 일, 사용자 대신 외부 서비스에 로그인하는 일, 어느 단계에서 무엇을 불렀는지 추적하는 일입니다. Bedrock AgentCore 는 이것들을 떼어 쓸 수 있는 부품으로 내놓은 서비스입니다. 에이전트 코드는 LangGraph·CrewAI·Strands Agents·OpenAI Agents SDK 같은 어느 프레임워크로 짜도 되고, 모델도 Bedrock 밖의 것을 써도 됩니다(What is Amazon Bedrock AgentCore?).
에이전트 코드를 올리는 곳은 Runtime 입니다. 코드를 컨테이너 이미지나 코드 묶음으로 받아 돌리고, 세션마다 따로 떨어진 작은 가상 머신(microVM)을 띄웁니다. Lambda 와 다른 점은 길이입니다. 사용자가 기다리는 요청 하나는 Lambda 처럼 15분이 한도이지만, 작업을 비동기로 넘기면 한 세션이 8시간까지 이어집니다. 이 8시간은 microVM 방식의 한도입니다. 내 계정의 EC2 인스턴스 위에 올리는 다른 계산 방식인 Instances 는 14일까지 가지만, 2026-11-13 기준 서울에는 없습니다(Quotas for Amazon Bedrock AgentCore · Supported AWS Regions).
반복 자체를 짜고 싶지 않다면 harness 가 있습니다. 모델·시스템 프롬프트·도구만 설정으로 적으면 「고르고 부르고 다시 고르는」 반복을 대신 돌려 줍니다. 반복을 손수 짜야 할 사정이 없으면 이것으로 시작하면 됩니다.
에이전트가 부를 도구는 Gateway 로 모읍니다. 이미 있는 REST API 나 Lambda 함수를 MCP(Model Context Protocol, 에이전트가 도구 목록을 받아 부르는 규약) 도구로 바꿔 여러 에이전트에 내줍니다.
대화를 기억하는 일은 Memory 가 맡습니다. 한 대화 안의 단기 기억과, 세션을 넘어 남는 장기 기억을 나눠 둡니다.
이 밖에 사용자 대신 로그인 권한을 받아 오는 부품, 격리된 곳에서 코드를 돌리거나 웹 페이지를 조작하는 부품, 단계별 추적을 남기는 부품 등이 있습니다. 서울에서는 harness·Runtime 의 microVM 방식·Memory·Gateway 와 로그인 부품(Identity)이 다 됩니다.
옛 Bedrock Agents 는 유지보수 단계다
Bedrock 에는 2023년 11월에 나온 에이전트 기능이 따로 있었습니다. 이것이 Bedrock Agents Classic 으로 이름이 바뀌고 2026-06-30 에 유지보수 단계로 발표됐습니다. 2026-07-30 부터 지난 12개월 동안 쓴 적이 없는 계정은 새 에이전트를 만들 수 없고, 그 뒤에 나온 새 모델도 붙지 않습니다. 쓰던 계정은 종료 날짜 없이 계속 쓸 수 있습니다. AWS 가 권하는 옮겨 갈 곳이 AgentCore 의 harness 입니다(Amazon Bedrock Agents Classic maintenance mode · Services in maintenance). Bedrock 의 모델 호출·Knowledge Bases·Guardrails 는 이 변화와 상관없습니다.
요금
에이전트가 모델 답을 기다리며 몇 분씩 서 있으면 그동안에도 값이 나갈까요? AgentCore 는 부품마다 쓴 만큼 받고, 모델 토큰 값은 그와 별도로 나갑니다. Runtime 은 초 단위로 실제 쓴 CPU 와 메모리를 셉니다. 모델 응답이나 API 응답을 기다리는 동안 CPU 는 0으로 세지만, 메모리는 회수될 때까지 계속 셉니다. Runtime 의 microVM 방식에는 두 판이 있습니다. 2판(V2)은 단가가 더 높은 대신 쉬는 메모리를 120초 뒤에 회수합니다(Amazon Bedrock AgentCore pricing).
AgentCore · 서울 · 2026-11-13
Runtime microVM V2 vCPU-시간 $0.1276 · GB-시간 $0.0169
Runtime microVM V1 vCPU-시간 $0.0895 · GB-시간 $0.00945
Code Interpreter·Browser vCPU-시간 $0.0895 · GB-시간 $0.00945
Gateway API 호출 1,000건당 $0.005
Memory 단기 기록 넣기 GB당 $1.00 (이벤트 하나는 최소 12 KB 로 센다)
장기 기억 조회 1,000건당 $0.50
- 요금 페이지의 예(미국 요금)에서 1 vCPU 를 60초 쓰는 10분 세션 하나는 CPU $0.002127, 메모리 $0.004576 입니다. 모델 응답을 기다리는 시간이 길수록 이 예처럼 메모리 쪽이 더 나옵니다
AgentCore 는 에이전트를 짜는 코드가 아니라 에이전트가 사는 곳입니다. 그곳이 필요한 때는 에이전트가 오래 돌거나 사용자를 대신해 움직일 때입니다.
| 이럴 때 맞다 | 이럴 때 안 맞다 | 대신 치르는 것 |
|---|---|---|
| 에이전트가 몇 분에서 몇 시간 동안 도구를 부르며 돈다 | 모델을 한 번 부르고 끝나는 기능(→ Bedrock 만으로) | Runtime·Gateway·Memory 요금이 모델 토큰 값 위에 더해진다 |
| 사용자마다 세션을 떼어 코드 실행·웹 조작을 시킨다 | 서울에서 한 세션이 8시간을 넘겨 이어져야 한다 | microVM 세션은 최대 8시간에서 끊긴다. 14일까지 가는 Instances 는 서울에 없다 |
| 사내 API·Lambda 를 여러 에이전트가 도구로 나눠 쓴다(Gateway) | 도구가 하나뿐이라 코드 안 함수로 충분하다 | 게이트웨이 설정과 호출 요금이 붙는다 |
| 프레임워크로 짠 에이전트를 운영 환경에 올린다 | 에이전트가 몇 초 만에 끝나 이미 쓰는 ECS·Lambda 로 충분하다 | AgentCore 에 맞춰 배포 묶음과 진입점을 다시 짠다 |
3. SageMaker AI — 모델을 직접 학습하고 띄운다
쓰려는 모델이 Bedrock 카탈로그에 없거나, 내 데이터로 모델을 새로 학습하거나 고쳐야 할 때는 어디로 갈까요? SageMaker AI 는 머신러닝 모델을 만들고, 학습하고, 운영 환경에 띄우는 일을 관리형으로 해 주는 서비스입니다(What is Amazon SageMaker AI?).
2024-12-03 에 Amazon SageMaker 가 SageMaker AI 로 이름을 바꿨고, 같은 날 「Amazon SageMaker」라는 이름은 데이터·분석·AI 를 묶은 통합 플랫폼(Unified Studio·Lakehouse 등)이 가져갔습니다. 그쪽은 11편(데이터 분석)과 닿아 있습니다. API 이름공간·CLI 명령·IAM 정책 이름·CloudFormation 리소스는 지금도 sagemaker 그대로입니다.
SageMaker AI 로 하는 일은 개발·학습·추론 셋으로 나뉩니다. 개발은 SageMaker AI 가 띄워 주는 JupyterLab 같은 노트북 환경에서 합니다.
학습은 학습 코드를 Python 스크립트나 Docker 컨테이너로 넘기는 데서 시작합니다. SageMaker AI 가 학습용 인스턴스를 마련해 돌리고, 쓴 시간만큼 받습니다(Train a Model with Amazon SageMaker).
추론 쪽에서는 학습한 모델을 엔드포인트로 띄웁니다. 엔드포인트는 모델을 올린 인스턴스 묶음에 HTTPS 주소를 붙인 것이고, 애플리케이션은 그 주소를 API 로 부릅니다. 공개된 모델을 고르기만 해서 띄우거나 미세 조정하고 싶으면 JumpStart 라는 모델 모음에서 시작합니다.
학습 값을 줄이는 대표 수단은 관리형 스팟 학습입니다. 남는 EC2 용량인 스팟 인스턴스로 학습해 온디맨드보다 최대 90% 싸게 돌립니다. 대신 스팟은 중간에 회수될 수 있습니다. 학습 상태를 체크포인트로 S3 에 남겨 두어야 이어서 돕니다. 스팟 용량이 안 나오면 온디맨드로 바꿔 타지 않고, 정해 둔 시간까지 기다리다 멈춥니다(Managed Spot Training in Amazon SageMaker AI).
모델을 띄우는 방식 셋
호출이 늘 있지 않은데 GPU 인스턴스를 늘 켜 둬야 할까요? SageMaker AI 는 모델을 띄우는 방식을 셋 줍니다.
실시간 엔드포인트는 고른 인스턴스를 켜 두고 낮은 지연으로 답합니다. 기본은 쉬는 동안에도 인스턴스 값이 나갑니다. 모델을 inference component(엔드포인트 위에 모델을 올리는 단위)로 올리고 최소 인스턴스 수를 0으로 두면 0대까지 줄일 수 있습니다. 대신 다시 늘 때 몇 분이 걸리고, 0대인 동안 온 요청은 오류로 돌아갑니다(Scale an endpoint to zero instances).
서버리스 추론은 인스턴스를 고르지 않고 메모리 크기(1~6 GB)만 정합니다. 요청이 오면 자원을 띄우고, 요청이 없으면 0으로 줄입니다. 대신 한동안 쉬다 오는 첫 요청은 콜드 스타트를 겪고, GPU·VPC 설정을 쓸 수 없습니다(Deploy models with Amazon SageMaker Serverless Inference).
비동기 추론은 S3 에 올린 입력을 줄 세워 처리하고, 결과를 S3 에 둡니다. 끝나면 SNS 로 알릴 수 있습니다. 처리할 것이 없으면 인스턴스 수를 0까지 줄입니다(Asynchronous inference).
세 방식의 차이는 쉬는 동안 돈이 나가느냐와 큰 요청을 받느냐입니다.
| 실시간 엔드포인트 | 서버리스 추론 | 비동기 추론 | |
|---|---|---|---|
| 쉬는 동안 | 기본은 계속 나간다. inference component 로 0대까지 줄일 수 있지만, 다시 늘 때 몇 분 걸리고 그동안 요청은 실패한다 | 0으로 줄어 값이 없다 | 인스턴스 수를 0까지 줄일 수 있다 |
| GPU | 된다 | 안 된다 | 된다 |
| 요청 크기·처리 시간 | 즉답용 | 즉답용, 메모리 최대 6 GB | 입력 최대 1 GB, 처리 최대 1시간 |
| 서울 동시 처리 | 인스턴스 수만큼 | 계정 전체 500, 엔드포인트당 최대 200 | 인스턴스 수만큼 |
접힌 기능들
옛 튜토리얼을 따라 하다 막히는 곳이 있습니다. SageMaker AI 는 오래된 만큼 곁가지 기능이 많았습니다. 그 가운데 상당수가 2026-06-30 발표로 유지보수 단계에 들어가 신규 고객이 쓸 수 없게 됐습니다. 운영 중 모델 품질을 감시하던 Model Monitor, 데이터에 라벨을 붙이던 Ground Truth, 모델 편향을 재던 Clarify 등입니다. 지원 종료가 예정된 기능과 이미 끝난 기능도 있으니, 튜토리얼이 쓰는 기능 이름을 수명 단계 목록에서 먼저 찾아봅니다(Services in maintenance · Services in sunset · Full shutdown services).
요금
SageMaker AI 에서는 무엇에 값을 낼까요? 대부분은 고른 인스턴스를 쓴 시간입니다. 같은 인스턴스라도 학습용과 엔드포인트용 단가가 다릅니다.
SageMaker AI · 서울 · 2026-11-13 · 한 달 730시간
실시간 엔드포인트 ml.m5.large (CPU) $0.142/시간 → $103.66
실시간 엔드포인트 ml.g6.xlarge (GPU) $1.3854/시간 → $1,011.34
(NVIDIA L4 GPU 1개 · GPU 메모리 22 GiB · vCPU 4 · 메모리 16 GiB)
학습 ml.g6.xlarge $1.3854/시간
서버리스 추론 메모리 2 GB 초당 $0.00004
서버리스 추론 메모리 6 GB 초당 $0.00012
- 처음 리소스를 만든 달부터 두 달 동안 무료 사용량이 있습니다. 실시간 추론 m5.xlarge 월 125시간, 학습 m5.xlarge 월 50시간, 서버리스 추론 월 15만 초 등입니다(Amazon SageMaker AI pricing · EC2 가속 인스턴스 사양)
- 늘 켜 두는 인스턴스는 SageMaker AI Savings Plans(1년·3년 약정)로 최대 64% 줄일 수 있습니다. 서버리스·비동기 추론은 대상 목록에 없습니다
SageMaker AI 는 모델을 내 것으로 만드는 대가로 인스턴스와 학습 과정을 내가 맡는 길입니다.
| 이럴 때 맞다 | 이럴 때 안 맞다 | 대신 치르는 것 |
|---|---|---|
| 내 데이터로 모델을 학습하거나 미세 조정해야 한다 | 카탈로그 모델 그대로로 충분하다(→ Bedrock) | 학습 데이터 준비·평가·재학습 주기를 내가 돌린다 |
| 공개 모델을 GPU 로 띄워 호출이 꾸준히 많다(실시간 엔드포인트) | 호출이 드문데 첫 응답부터 바로 나와야 한다 | 늘 켜 두면 g6.xlarge 한 대 월 $1,011.34. 0대로 줄이면 다시 뜨는 몇 분 동안 요청이 실패한다 |
| 작은 모델을 가끔 부른다(서버리스 추론) | GPU 나 VPC 안 통신이 필요하다 | 첫 요청의 콜드 스타트, 메모리 6 GB 상한 |
| 입력이 크고 처리가 길다(비동기 추론) | 사용자가 즉답을 기다린다 | 입력과 결과를 S3 로 주고받는 흐름을 따로 짠다 |
4. 하루 1만 건 요약 — 토큰으로 낼까, GPU 를 켤까
고객 문의 요약을 하루 1만 건, 30일 돌리면 한 달에 얼마일까요? 문의 하나는 입력 2,000 토큰(문의 본문과 지시문), 요약은 출력 300 토큰으로 둡니다. Bedrock 쪽은 1절의 서울 요금을, SageMaker AI 쪽은 3절의 GPU 엔드포인트 한 대 값을 씁니다.
하루 1만 건 × 30일 · 서울 · 2026-11-13
입력 10,000 × 2,000 × 30 = 6억 토큰 (600 × 100만)
출력 10,000 × 300 × 30 = 9천만 토큰 ( 90 × 100만)
Bedrock
Claude Sonnet 5.5 600 × $2.00 + 90 × $10.00 = $2,100.00
Amazon Nova 2 Lite 600 × $0.36 + 90 × $2.96 = $482.40
배치 추론으로 600 × $0.18 + 90 × $1.48 = $241.20
Claude Haiku 5.5 600 × $0.10 + 90 × $0.50 = $105.00
Amazon Nova Micro 600 × $0.041 + 90 × $0.164 = $39.36
SageMaker AI 실시간 엔드포인트 (모델은 내가 고른 공개 모델)
ml.g6.xlarge 1대 $1.3854 × 730 = $1,011.34
ml.g6.xlarge 2대(이중화) = $2,022.68
손익분기 (Claude Haiku 5.5 대 g6.xlarge)
건당 2,000 × $0.10/100만 + 300 × $0.50/100만 = $0.00035
1대 $1,011.34 ÷ $0.00035 = 약 289만 건/월 ≈ 하루 약 9.6만 건
2대 $2,022.68 ÷ $0.00035 = 약 578만 건/월 ≈ 하루 약 19만 건
같은 크기의 일이 모델에 따라 월 $39.36 에서 $2,100 까지 갈립니다. 청구서를 가장 크게 가르는 것은 서비스가 아니라 어느 모델을 고르느냐입니다. 같은 회사 모델 안에서도 Sonnet 5.5 와 Haiku 5.5 는 스무 배가 벌어집니다. 작다고 늘 싼 것도 아니어서, 이 계산에서는 Claude Haiku 5.5 가 Nova 2 Lite 보다 싸게 나옵니다. 그래서 작은 모델 몇 개로 품질이 나오는지부터 재 보는 것이 순서입니다.
GPU 엔드포인트는 건수와 상관없이 월 $1,011.34 이므로, Claude Haiku 5.5 와 견주면 하루 약 9.6만 건이 분기점입니다. 그보다 많으면 엔드포인트가 싸 보이지만 두 가지를 더 재야 합니다. 하나는 L4 GPU 한 대가 그 건수를 원하는 지연 안에 감당하는지입니다. 이것은 고른 모델과 입력 길이에 달려 있어 띄워 보고 재야 합니다. 다른 하나는 내가 띄운 공개 모델이 Haiku 5.5 와 같은 품질을 내는지입니다. 한 대가 서면 기능이 멈추니 이중화하면 분기점도 두 배(하루 약 19만 건)로 올라갑니다. Nova Micro 로 품질이 나온다면 GPU 엔드포인트가 이길 건수는 하루 25만 건을 넘습니다.
이럴 땐 무엇
출발점은 거의 언제나 Bedrock 의 작은 모델입니다. 다른 서비스로 옮겨 가는 것은 에이전트가 오래 돌거나, 모델을 내 것으로 만들어야 하거나, 호출이 하루 약 9.6만 건을 넘겨 GPU 를 늘 켜 두는 편이 쌀 때입니다.
| 상황 | 서비스 | 이유 |
|---|---|---|
| 문의 요약·분류 기능을 붙인다 | Bedrock(작은 모델부터) | 토큰만큼 내고 서버가 없다. 모델에 따라 값이 수십 배 갈린다 |
| 밤사이 쌓인 문서 수만 건을 한꺼번에 처리한다 | Bedrock 배치 추론 | 선택된 모델에서 온디맨드의 절반 |
| 사내 문서를 근거로 답하는 챗봇 | Bedrock Knowledge Bases | 검색해 프롬프트에 붙이는 과정을 대신 짠다. 관리형은 도쿄 |
| 입력·출력에서 개인정보·금지 주제를 걸러야 한다 | Bedrock Guardrails | 민감 정보를 가리고, 정규식·금칙어는 무료 |
| 데이터가 한국 밖에서 처리되면 안 된다 | 서울 안 모델(Claude 는 Sonnet 5·Opus 5), 또는 SageMaker AI 서울 엔드포인트 | 글로벌 교차 리전은 전 세계로, 아시아태평양 지역 교차 리전도 다른 나라 리전으로 보낸다 |
| 도구를 부르며 몇 분씩 도는 에이전트를 운영한다 | AgentCore Runtime(harness) + Gateway | 세션 격리, 모델을 기다리는 동안 CPU 는 0 |
| Bedrock Agents Classic 을 쓰던 계정 | 지금 것은 두고 새 개발은 AgentCore | 유지보수 단계라 새 모델이 안 붙는다 |
| 내 데이터로 모델을 학습한다 | SageMaker AI 학습 + 관리형 스팟 | 최대 90% 절감, 체크포인트를 S3 에 |
| 공개 모델을 GPU 로 하루 약 9.6만 건 넘게 꾸준히 부른다 | SageMaker AI 실시간 엔드포인트 | 건수가 늘어도 인스턴스 값은 그대로. 이중화하면 분기점은 하루 약 19만 건 |
| 큰 파일을 받아 오래 걸려 처리한다 | SageMaker AI 비동기 추론 | 입력 1 GB·처리 1시간까지, 쉬면 0대 |
자주 붙는 서비스는 S3(배치 입출력·학습 데이터), Lambda(에이전트 도구), OpenSearch Serverless·S3 Vectors(벡터 저장소), Cognito, CloudWatch·CloudTrail, IAM, 그리고 12-2편의 완성품 AI API 입니다. 엮이는 방식은 조합 편(29 문서 검색 AI)에서 봅니다.
한 장 요약
AI 기능은 Bedrock 에서 작은 모델을 API 로 부르는 데서 시작합니다. 값은 토큰 수와 고른 모델이 정합니다(같은 일이 월 $39.36 에서 $2,100). 서울에서 불러도 글로벌 교차 리전이면 한국 밖에서 처리되니 데이터 조건부터 봅니다. 에이전트를 새로 만든다면 유지보수에 들어간 Bedrock Agents Classic 이 아니라 AgentCore 위에 올립니다. SageMaker AI 는 모델을 직접 학습하거나, GPU 를 늘 켜 둘 만큼(Claude Haiku 5.5 대비 하루 약 9.6만 건 이상) 호출이 많을 때 들어옵니다.
관련 항목
AI 를 가져다 쓰고 만드는 같은 갈래
Amazon Bedrock · Amazon Bedrock AgentCore · Amazon SageMaker AI · Amazon SageMaker Unified Studio · SageMaker JumpStart · Amazon Nova · Bedrock Agents Classic
모델을 부를 때의 단위와 방식
토큰 · 추론 · 파운데이션 모델 · 대규모 언어 모델 · Converse API · 배치 추론 · 교차 리전 추론 · 프롬프트
내 문서로 답하게 하는 장치
검색 증강 생성 · Bedrock Knowledge Bases · 임베딩 · 벡터 검색 · 벡터 데이터베이스 · S3 Vectors · OpenSearch
모델 입출력을 거르는 장치
Bedrock Guardrails · 개인 식별 정보 · 프롬프트 인젝션 · 할루시네이션 · 콘텐츠 필터
에이전트를 이루는 부품
AI 에이전트 · Model Context Protocol · 도구 호출 · AgentCore Runtime · AgentCore Gateway · AgentCore Memory · 마이크로VM · OpenTelemetry
모델을 학습하고 띄우는 장치
머신러닝 · 딥러닝 · 미세 조정 · GPU · 체크포인트 · 스팟 인스턴스 · 서버리스 추론 · 비동기 추론 · 콜드 스타트
이 편과 맞물리는 시리즈 편
AWS 01-3 요청이 올 때만 돈다 — Lambda·Batch · AWS 02-1 S3 하나로 이렇게 많은 일을 한다 — 저장 등급·S3 Tables·S3 Vectors · AWS 05-1 누가 무엇을 할 수 있나 — IAM·IAM Identity Center·Cognito·Verified Permissions · AWS 06 관측·운영 — CloudWatch·CloudTrail·Systems Manager·AppConfig·X-Ray·Config·Health