대학일기

국립국어원에서 개최한 ‘말평’ 경진대회에 참가해 대화 맥락 추론(가 유형) 과제를 지난 나흘 간 저녁마다 작업했지만 아직 베이스라인 점수를 넘기지 못했다.  여러 가지 할 일이 많은데 계속 붙들고 있기는 힘들고, 좀 더 쉬운 과제를 하면서 공부를 더 하는 게 나을 듯해서 이번 대회 참가를 중단하려고 한다. 나흘 간의 기록을 Claude에 주고, 이 대회를 계기로 배운 점이 무엇이고 여전히 모르는 점이 무엇인지 정리했다. 귀하의 나흘 간의 경험을 바탕으로, 배운 점과 여전히 모르는 점을 다음과 같이 정리해 보겠습니다: 배운 점 및 새로 접한 경험: 1. 대규모 언어 모델 학습 과정:    - 8B 파라미터 모델의 fine-tuning 과정을 직접 경험했습니다.    - 학습 시 발생하는 GPU 메모리 문제..

어제 제출한 결과를 확인해 보니 76점 정도 나왔다. 베이스라인 코드에서 제시한 것보다 점수가 낮다. 학습할 때 양자화해 놓고 추론 시에는 양자화를 고려하지 않은 것이 원인일까? 네, 추론 시 양자화를 고려하지 않은 것이 낮은 점수의 한 원인일 가능성이 높습니다. 이 상황에 대해 몇 가지 중요한 포인트를 짚어보겠습니다: 1. 양자화와 LoRA의 불일치:    - 학습 시 4비트 양자화와 LoRA를 사용했지만, 추론 시 이를 고려하지 않았습니다.    - 이로 인해 모델이 학습된 가중치를 제대로 활용하지 못했을 수 있습니다. 2. 모델 구조의 불일치:    - 학습된 LoRA 가중치가 기본 모델에 제대로 적용되지 않았을 수 있습니다. 3. 정밀도 문제:    - 4비트로 양자화된 모델을 전체 정밀도로 로드..

지난 달에 본선에 나가서 시상식에서 장려상을 받았는데, 그때는 상장에 이름이 인쇄돼 있지 않았다. https://ac.ychoi.kr/209 인문사회통합성과확산센터 2024 아이디어 공모전 입상두 달 쯤 전에 문득 ‘챗GPT 관련 공모전이 있지 않을까’라는 생각이 들어 찾아보니 인문사회통합성과확산센터에서 진행 중인 것이 있었다. 응모하기 전에는 이런 기관이 있는지도 몰랐다. httpac.ychoi.kr  그 후에 상장을 다시 보내주겠다는 연락을 받고 집 주소를 알려주었더니, 오늘 등기 우편으로 왔다.

어제까지의 시도를 통해, 내가 가진 4090 1개로는 베이스라인 코드 중 추론만 가능하고 학습을 할 수 없음을 확인했다. 따라서 컴퓨팅 자원부터 확보해야 그다음에 뭘 하든 할 수 있다는 생각이 들었다.구글 클라우드에서 받은 크레딧을 사용할 수 있지 않을까 하고 인스턴스를 만들려고 하다 보니 GPU는 유료로 써야 한단다. 한 달 내내 돌릴 건 아니지만, 그래도 예상 가격표를 보니 차마 손이 가지 않는다.    찾아보니 학교나 공공기관에서 컴퓨팅 자원을 빌려주는 경우가 있긴 한데 내가 지금 이용할 수 있는 건 없다. 클라우드를 이용하든 컴퓨터를 사든 간에 베이스라인보다 개선할 수 있다는 희망이 있어야 하는데, 지금으로서는 한 번 돌려보고 나서부터 뭘 해야 할지 전혀 감을 잡지 못한 상태라 헛돈만 쓸 것 같다..

다른 모델 조사 베이스라인 코드에서 사용한 MLP-KTLim/llama-3-Korean-Bllossom-8B 모델보다 과제에 더 적합한 모델이 있을지도 모른다는 생각이 들어 허깅페이스에서 찾아보니 asiansoul/SmartLlama-3-Ko-8B라는 것이 있다. 모델 카드를 보면 Multi-Turn Conversational Abilities를 높이기 위해 abacusai/Llama-3-Smaug-8B를 병합했다고 나와 있어, 경진대회에서 요구하는 과제를 푸는 데 유리하지 않을까 하는 생각이 들었다. 하지만 모델 카드를 복사해 Claude에 물어보니 부정적이다. 과제 기술서와 FAQ의 주요 내용을 고려하면: 1. 데이터 증강 및 외부 데이터 사용:    - (가) 유형에서는 외부 데이터 사용이나 데이터..

공모전 및 경진대회 정보를 조사하다가 국립국어원에서 개최하는 ‘말평’ 경진대회를 알게 됐다.지난 1학기에 머신러닝 과목을 수강하면서 캐글 대회에 참가했고, 얼마 전 챗GPT 활용 아이디어 공모전에도 나가 봤으니, 이제 전공 및 관심 분야에 좀 더 가까운 대회에 나가보면 좋겠다고 생각하던 참이었다.게다가 때마침 직장의 이번주 업무가 허깅페이스 책을 교정하는 것이라, 경진대회에 참가하면서 책으로 배우면 내 공부도 되고 책 저자에게 더 좋은 피드백도 줄 수 있어 시너지 효과가 크겠다는 판단을 했다. 현재 열려 있는 과제 중 ‘대화 맥락 추론(가 유형)’을 선택했다.https://kli.korean.go.kr/benchmark/taskOrdtm/taskList.do?taskOrdtmId=144 기준 모델: ht..

두 달 쯤 전에 문득 ‘챗GPT 관련 공모전이 있지 않을까’라는 생각이 들어 찾아보니 인문사회통합성과확산센터에서 진행 중인 것이 있었다. 응모하기 전에는 이런 기관이 있는지도 몰랐다. https://hasworld.org/ur/forum/ideaContest 인문사회통합성과확산센터 hasworld.org 참가 대상이 고등학생부터 대학원생까지로 되어 있는데, 나도 대학생이니 참가해도 되지 않을까 하고 응모했다. 크게 두 가지 아이디어를 써서 냈다. 챗GPT와 클로드의 도움을 많이 받았다.챗GPT를 사회 문제 발견부터 해결 방법 도출, 성과 홍보까지에 활용할 수 있다.인문사회 분야에 특화한 GPT를 개발해 활용할 수 있다.학생임을 증명하는 서류를 받거나 하지는 않았는데, 혹시라도 문제가 생기지 않게 하려고 ..