Llama 3.1 8B 한눈에
Llama 3.1 8B Instruct는 메타의 Llama 3.1 시리즈에서 80억 매개변수로 만든 가벼운 지시 조정 텍스트 모델이에요. 12만 8천 토큰 맥락 안에서 다국어 대화, 긴 글 요약, 분류와 함수 호출에 쓰이며 Llama 3.1 Community License를 따라요.
제작사 자료로 10월 16일에 확인했어요 — meta-llama/Meta-Llama-3.1-8B-Instruct — Hugging Face · Introducing Llama 3.1 — Meta AI
- 나온 날
- 2024년 7월 23일(Meta 공개).
- 한 번에 읽는 양
- 질문 · 첨부 · 앞선 대화와 답을 합쳐 약 13만 토큰 안에서 처리해요.
쓰는 법
지원 엔드포인트
| 구분 | 엔드포인트 | 용도 | 문서 |
|---|---|---|---|
| 기본 | POST /v1/chat/completions | OpenAI 호환 채팅 호출 | 레퍼런스 |
| 보조 | GET /v1/models/meta-llama%2FMeta-Llama-3.1-8B-Instruct-Turbo | 모델 규격과 키별 호출 가능 여부 조회 | 레퍼런스 |
API 로 부르기
POST /v1/chat/completionsOpenAI 호환 채팅 호출base_url: https://oneport.kr/v1OpenAI 호환 SDK base_url
curl https://oneport.kr/v1/chat/completions \
-H "Authorization: Bearer $ONEPORT_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "meta-llama/Meta-Llama-3.1-8B-Instruct-Turbo",
"messages": [{"role": "user", "content": "안녕하세요"}]
}'API 규격과 기능
- 최대 컨텍스트
- 131K 토큰
- 스트리밍
- 실시간 스트리밍(SSE) 지원
- 학생 키 정책
- 학생 키·일반 키 모두 호출 가능