대학일기

국립국어원에서 개최한 ‘말평’ 경진대회에 참가해 대화 맥락 추론(가 유형) 과제를 지난 나흘 간 저녁마다 작업했지만 아직 베이스라인 점수를 넘기지 못했다.  여러 가지 할 일이 많은데 계속 붙들고 있기는 힘들고, 좀 더 쉬운 과제를 하면서 공부를 더 하는 게 나을 듯해서 이번 대회 참가를 중단하려고 한다. 나흘 간의 기록을 Claude에 주고, 이 대회를 계기로 배운 점이 무엇이고 여전히 모르는 점이 무엇인지 정리했다. 귀하의 나흘 간의 경험을 바탕으로, 배운 점과 여전히 모르는 점을 다음과 같이 정리해 보겠습니다: 배운 점 및 새로 접한 경험: 1. 대규모 언어 모델 학습 과정:    - 8B 파라미터 모델의 fine-tuning 과정을 직접 경험했습니다.    - 학습 시 발생하는 GPU 메모리 문제..

어제 제출한 결과를 확인해 보니 76점 정도 나왔다. 베이스라인 코드에서 제시한 것보다 점수가 낮다. 학습할 때 양자화해 놓고 추론 시에는 양자화를 고려하지 않은 것이 원인일까? 네, 추론 시 양자화를 고려하지 않은 것이 낮은 점수의 한 원인일 가능성이 높습니다. 이 상황에 대해 몇 가지 중요한 포인트를 짚어보겠습니다: 1. 양자화와 LoRA의 불일치:    - 학습 시 4비트 양자화와 LoRA를 사용했지만, 추론 시 이를 고려하지 않았습니다.    - 이로 인해 모델이 학습된 가중치를 제대로 활용하지 못했을 수 있습니다. 2. 모델 구조의 불일치:    - 학습된 LoRA 가중치가 기본 모델에 제대로 적용되지 않았을 수 있습니다. 3. 정밀도 문제:    - 4비트로 양자화된 모델을 전체 정밀도로 로드..

지난 달에 본선에 나가서 시상식에서 장려상을 받았는데, 그때는 상장에 이름이 인쇄돼 있지 않았다. https://ac.ychoi.kr/209 인문사회통합성과확산센터 2024 아이디어 공모전 입상두 달 쯤 전에 문득 ‘챗GPT 관련 공모전이 있지 않을까’라는 생각이 들어 찾아보니 인문사회통합성과확산센터에서 진행 중인 것이 있었다. 응모하기 전에는 이런 기관이 있는지도 몰랐다. httpac.ychoi.kr  그 후에 상장을 다시 보내주겠다는 연락을 받고 집 주소를 알려주었더니, 오늘 등기 우편으로 왔다.