Notice
Recent Posts
Recent Comments
준호씨의 블로그
Gemini 모델이 OpenAI API 호환성 지원 본문
반응형
Gemini is now accessible from the OpenAI Library 2024.11.08
https://developers.googleblog.com/en/gemini-is-now-accessible-from-the-openai-library/
Gemeni 모델이 드디어 OpenAI 라이브러리를 지원합니다. OpenAI API 호환성을 지원하는 것인데요. 점점 OpenAI API 가 LLM API 표준이 되어 가는 모양입니다. 예를 들어 GraphRAG 라이브러리가 기본적으로 OpenAI API만 지원하다 보니 Gemini 모델을 사용하기가 어려웠는데요. 이제 Gemini 모델도 손쉽게 테스트해 볼 수 있게 되었습니다.
요약
- Chat Completions API와 Embeddings API를 지원합니다.
- 향후 몇 주, 몇 달 안에 추가 호환성 지원이 계획되어 있습니다.
- OpenAI 호환성 문서를 참조할 수 있으며, OpenAI 라이브러리를 사용하지 않는 경우 Gemini API를 직접 호출하는 것을 권장합니다.
OpenAI python 라이브러리로 gemini-1.5-flash 모델을 사용한 streaming 요청 처리 예제
from openai import OpenAI
client = OpenAI(
api_key="gemini_api_key",
base_url="https://generativelanguage.googleapis.com/v1beta/"
)
response = client.chat.completions.create(
model="gemini-1.5-flash",
n=1,
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{
"role": "user",
"content": "junho85 에 대해 알려줘"
}
],
stream=True,
)
# print(response.choices[0].message.content)
for chunk in response:
print(chunk.choices[0].delta.content, end='')
# output
# 죄송합니다. "junho85"에 대한 정보를 찾을 수 없습니다. 더 자세한 정보를 제공해주시겠습니까? 예를 들어, Junho85가 무엇을 하는지, 어떤 맥락에서 이 이름이 나왔는지 등을 알려주시면 도울 수 있습니다.
반응형
'개발이야기 > 인공지능' 카테고리의 다른 글
GraphRAG v0.4.1 릴리스 (0) | 2024.11.10 |
---|---|
GraphRAG 라이브러리 v0.4.0 릴리스 - 속도 개선, 점진적 인덱싱, DRIFT 검색 등 다양한 개선 (0) | 2024.11.08 |
GraphRAG 라이브러리 v0.3.4 릴리스: 안정성과 요약 기능 개선 (0) | 2024.09.12 |
GraphRAG 라이브러리 v0.3.3 릴리스 (0) | 2024.09.11 |
LLM 모델의 능력을 테스트하는 질문과 답변 예제 (1) | 2024.09.08 |
Comments