[태그:] LiteLLM

  • LiteLLM: 100개 이상의 LLM을 하나의 API로 다루는 오픈소스 AI 게이트웨이

    LiteLLM: 100개 이상의 LLM을 하나의 API로 다루는 오픈소스 AI 게이트웨이

    들어가며 요즘 서비스에 AI 기능을 넣으려면 흔히 OpenAI의 GPT, Anthropic의 Claude, Google의 Gemini, AWS Bedrock 등 여러 LLM(대규모 언어 모델) 제공업체 중 하나 이상을 선택해서 연동하게 됩니다. 문제는 이들 각각이 서로 다른 SDK, 인증 방식, 요청/응답 형식을 사용한다는 점입니다. 모델을 바꾸거나 여러 모델을 동시에 운영하려면 그만큼 코드를 다시 짜야 하죠. LiteLLM은 바로 이 문제를 해결하기…