모델

• OpenAI의 모델 정보: https://platform.openai.com/docs/models
• 모델들
  • gpt-3.5-turbo-1106 (gpt 3.5의 메인모델)
  • gpt-4-1106-preview (gpt-4 turbo의 프리뷰 모델?)
    • 현재 (231220) 기준 gpt-4 보다 훨씬 저렴
  • gpt-4
• 설정값
  • temperature
    • default: 1.0

토큰

Tokenizer

• 입력값이 토큰으로 나눠짐

어떻게 나눠지는지 확인하는 사이트

Tiktoken

https://github.com/openai/tiktoken

• OpenAI에서 만든 인풋을 토큰화하는 툴