OHREN_Lab

News소식VercelVercel

Vercel AI Gateway adds Private Inference to call fine-tuned, self-hosted or prerelease model endpoints alongside catalog modelsVercel AI Gateway, 미세 조정했거나 자체 운영하거나 출시 전인 모델을 카탈로그 모델과 같은 방식으로 부르는 Private Inference 추가

Vercel has added Private Inference to AI Gateway, letting teams that have purchased AI Gateway Credits and hold a positive balance call fine-tuned, self-hosted or prerelease model endpoints with the same authentication, SDKs and observability as catalog models. The endpoint must be a publicly reachable HTTPS URL, and only the Vercel team can view or call its private models. Vercel does not bill tokens on private models, but charges $0.20 per 1,000 requests a private model serves when the model chain has no Vercel-provided catalog fallback or Fallback to Vercel Keys is off, and does not charge requests that fail, for example because of a provider error or rate limit.Vercel이 AI Gateway에 Private Inference를 더해, AI Gateway 크레딧을 사 두고 잔액이 있는 팀이 미세 조정했거나 자체 운영하거나 출시 전인 모델의 엔드포인트를 카탈로그 모델과 같은 인증, SDK, 관측 도구로 부를 수 있게 했습니다. 엔드포인트는 공개로 닿을 수 있는 HTTPS 주소여야 하고, 등록한 비공개 모델은 그 Vercel 팀만 보고 부를 수 있습니다. Vercel은 비공개 모델의 토큰 값은 받지 않지만, 모델 체인에 Vercel이 제공하는 카탈로그 대체 모델이 없거나 Fallback to Vercel Keys가 꺼져 있으면 비공개 모델이 처리한 요청 1,000건당 0.20달러를 받고, 제공자 오류나 rate limit 등으로 실패한 요청에는 받지 않습니다.

Source published원문 게시일
Checked확인일

Vercel has added Private Inference to AI Gateway, it says in its changelog. The feature connects fine-tuned, self-hosted or prerelease model endpoints to AI Gateway, so a team that has purchased AI Gateway Credits and holds a positive balance can call them through the same authentication, SDKs and APIs, and observability as catalog models; without purchased credits and a positive balance, private model requests fail. Vercel does not bill tokens on private models, but charges $0.20 per 1,000 requests a private model serves when the model chain has no Vercel-provided catalog fallback or when Fallback to Vercel Keys, which is on by default, is turned off; requests that fail, for example because of a provider error or rate limit, are not charged, and inference is paid to the endpoint’s provider separately. Such models used to need separate keys, client code and logs.Vercel이 AI Gateway에 Private Inference를 더했다고 changelog에서 밝혔습니다. 미세 조정했거나 자체 운영하거나 출시 전인 모델의 엔드포인트를 AI Gateway에 연결해, AI Gateway 크레딧을 사 두고 잔액이 있는 팀이면 카탈로그 모델과 같은 인증, SDK와 API, 관측 도구로 부르게 하는 기능이고, 크레딧을 사 두지 않았거나 잔액이 없으면 비공개 모델 요청은 실패합니다. Vercel은 비공개 모델의 토큰 값은 받지 않지만, 모델 체인에 Vercel이 제공하는 카탈로그 대체 모델이 없거나 기본으로 켜져 있는 Fallback to Vercel Keys가 꺼져 있으면 비공개 모델이 처리한 요청 1,000건당 0.20달러를 받되 제공자 오류나 rate limit 등으로 실패한 요청에는 받지 않고, 추론 비용은 엔드포인트 제공자에게 따로 냅니다. 지금까지는 이런 모델마다 키, 클라이언트 코드, 로그를 따로 둬야 했습니다.

Endpoints are added on the Private Inference page as private providers, with a base URL, an API format and credentials, followed by the models each one serves. The endpoint must be a publicly reachable HTTPS URL; it cannot embed credentials, use a non-standard port, or resolve to a private, loopback or link-local address. Credentials are stored encrypted, AI Gateway sends the API key to the endpoint with every request, and the requests run against the team’s own endpoint. Zero Data Retention can be turned on per provider, and the documentation says to turn it on only if the endpoint does not retain request data. Registered private models can be viewed and called only by the Vercel team and are not listed in the public catalog.엔드포인트는 Private Inference 페이지에서 기본 URL, API 형식, 자격 증명을 넣어 비공개 제공자로 더한 뒤 그 엔드포인트가 내놓는 모델을 더합니다. 엔드포인트는 공개로 닿을 수 있는 HTTPS 주소여야 하고, 주소에 자격 증명을 넣거나 표준이 아닌 포트를 쓰거나 사설, 루프백, 링크 로컬 주소로 풀리면 안 됩니다. 자격 증명은 암호화해 저장하고 AI Gateway가 요청마다 그 API 키를 엔드포인트로 보내며, 요청은 팀의 엔드포인트에서 돕니다. 제공자마다 Zero Data Retention을 켤 수 있는데, 공식 문서는 엔드포인트가 요청 데이터를 보관하지 않을 때만 켜라고 적고 있습니다. 등록한 비공개 모델은 그 Vercel 팀만 보고 부를 수 있고 공개 카탈로그에는 나오지 않습니다.

Dark-mode Private Inference page in the Vercel dashboard, with private providers expanded to show their models. Each provider row has its API format and number of models, the expanded rows list each model and its model ID, and buttons at the top right are for viewing traffic and adding a provider.
Image: Vercel.그림: Vercel. Open original원본 보기

Calls go through Chat Completions, Responses or Messages, and AI Gateway translates each request to the endpoint’s format, so switching between private and catalog models only changes the model ID. Private models also work in Claude Code, Cursor and other coding agents connected to AI Gateway, their requests appear alongside catalog traffic in logs, trace drains and custom reporting, and a fallback to a catalog model can optionally be configured for when the private endpoint fails.부를 때는 Chat Completions, Responses, Messages를 쓰고, AI Gateway가 요청을 엔드포인트의 형식으로 바꿔 주므로 비공개 모델과 카탈로그 모델 사이를 오갈 때는 모델 ID만 바뀝니다. AI Gateway에 연결한 Claude Code, Cursor 같은 코딩 에이전트에서도 비공개 모델을 쓸 수 있고, 요청은 로그, 트레이스 내보내기, 맞춤 보고에서 카탈로그 트래픽과 함께 보이며, 엔드포인트가 실패하면 카탈로그 모델로 넘기도록 설정할 수도 있습니다.

The per-request fee applies on every plan at list price, and Enterprise teams can contact sales for custom rates.요청당 요금은 모든 요금제에 정가로 붙고, Enterprise 팀은 영업팀에 따로 요율을 문의할 수 있습니다.

Each team can register up to 25 private providers and 100 private models. Observability views show only what Vercel bills, so they show no inference spend for private models.팀마다 비공개 제공자는 25개, 비공개 모델은 100개까지 등록할 수 있습니다. 관측 화면은 Vercel이 청구하는 값만 보여 주므로 비공개 모델의 추론 비용은 나오지 않습니다.

All algoit posts알고IT 글 목록

Follow algoit on알고IT 팔로우하기X Instagram Threads