Korea University Large Language Model

• LeaderBoard 1위

  

• Safety Data 큐레이션

  

• 하이퍼파라미터 서치

  

• 개발

  고려대학교 NLP&AI 연구실 / Human-inspired AI 연구원

• 연구배경
  • Leaderboard 순위 및 벤치마크 점수가 '말을 잘 하는' 것을 보장하지 못함
  • OpenKo-LLM Leaderboard 순위 = 좋은 모델 순위
  • 리더보드용 모델을 제작, 두 평가항목에서 1위
    (2024년 2월 19일 기준, 등록된 모델 약 900개)
  • 하지만 벤치마크형 리더보드가 모델을 잘 평가하지 못한다는 것이 주류 의견
• 라이선스

  아파치 2.0

• Base Model

  Upstage/SOLAR-10.7B-v1.0

Update Logs

• 2024.04.08

  🤗구름3(KULLM3) 양자화 모델(awq-4bit) 공개

• 2024.04.03

  🤗구름3(KULLM3) 공개

• 2023.06.23

  한국어 대화 평가 결과 공개

• 2023.06.08

  🤗Polyglot-ko 5.8B 기반 KULLM-Polyglot-5.8B-v2 fp16 모델 공개

• 2023.06.01

  구름(KULLM) 데이터셋 v2 HuggingFace Datasets 공개

• 2023.05.31

  🤗Polyglot-ko 12.8B 기반 KULLM-Polyglot-12.8B fp16 모델 공개

• 2023.05.30

  🤗Polyglot-ko 12.8B 기반 KULLM-Polyglot-12.8B fp16 모델 공개

Open Ko-LLM LeaderBoard

한국지능정보사회진흥원(NIA)와 업스테이지에 참여하여 한국어 언어 모델의 성능을 평가하고 비교할 수 있는 리더보드에서 KULLM이 개발한 리더보드용 모델이 2개 평가항목에서 1위를 차지 하였습니다.

KULLM3 대화 성능 평가 결과

• 평가모델은 GPT-4 Turbo(gpt-4-0125-preview)를 사용하였고, 평가 데이터셋은yizhongw/self-instruct의 휴먼 평가 데이터셋인 user_oriented_instruction.json을 Deepl로 번역한 데이터 셋을 사용
• 주어진 Prompt 데이터에 대한 모델이 응답을 생성하고, 그 응답을 Open AI API를 사용하여 평가하는 방식
• 해당 평가 결과는 Repo에서 재현이 가능