1

공개된 영어,한국어 Instruction tuning 데이터셋 활용

2

저품질이라고 판단될 경우 OpenAI API를 활용하여 재생성

3

데이터셋의 출처,범위(domain),용도에 따라 모델의 품질이 달라짐

4

예를 들어, GPT-4를 이용하여 생성한 고품질 데이터라도 패턴이 비슷한 데이터가 여러 개 들어갈 경우 모델 성능 유의미하게 저하됨

1

영어/한국어 데이터셋 병용으로 성능 향상

2

'나는 고려대학교 NLP&AI 연구실에서 만든 KULLM이다'라는 페르소나를 주입하기 위한 데이터 수작업으로 생성 및 큐레이션

3

모델 생성 시 중립성을 제고하기 위한 Safety Data 큐레이션

4

하이퍼파라미터 서치를 진행,동일 데이터에서 더 좋은 모델 훈련