대학일기

지금까지 배운 것지금까지 수강한 과목들을 분야별로 분류했다. 드론 및 항공 항공기상 드론공학개론 드론설계기초 드론과인공지능 드론모의조종 인공지능 및 머신러닝 AI음성인식 AI영상인식실습 머신러닝 공학 일반 공학수학기초 로봇공학개론 기계공학개론 기초전자공학 무기공학 알고리즘 게임엔진(Unity) 언어 및 인문학 기초일본어 한자성어와퍼즐 삶과사색:인문학책읽기 기초러시아어 문화로보는세계 미술로보는창의적사고 우리안의글로벌이슈 기타 임상기초메이크업 해부생리학 차례로 수강할 과목들기초부터 차근차근 쌓아 올려야 하는 과목들을 나름대로 정리했다. 정역학은 4학년 과목인데 필수 선수 과목이 없고, 동역학은 2학년 과목인데 정역학과 공학수학이 선수 과목으로 나와 있어 좀 이상하다. 아래처럼 배우는 게 맞을 것 같다. 전공..

어제 제출한 결과를 확인해 보니 76점 정도 나왔다. 베이스라인 코드에서 제시한 것보다 점수가 낮다. 학습할 때 양자화해 놓고 추론 시에는 양자화를 고려하지 않은 것이 원인일까? 네, 추론 시 양자화를 고려하지 않은 것이 낮은 점수의 한 원인일 가능성이 높습니다. 이 상황에 대해 몇 가지 중요한 포인트를 짚어보겠습니다: 1. 양자화와 LoRA의 불일치:    - 학습 시 4비트 양자화와 LoRA를 사용했지만, 추론 시 이를 고려하지 않았습니다.    - 이로 인해 모델이 학습된 가중치를 제대로 활용하지 못했을 수 있습니다. 2. 모델 구조의 불일치:    - 학습된 LoRA 가중치가 기본 모델에 제대로 적용되지 않았을 수 있습니다. 3. 정밀도 문제:    - 4비트로 양자화된 모델을 전체 정밀도로 로드..

어제까지의 시도를 통해, 내가 가진 4090 1개로는 베이스라인 코드 중 추론만 가능하고 학습을 할 수 없음을 확인했다. 따라서 컴퓨팅 자원부터 확보해야 그다음에 뭘 하든 할 수 있다는 생각이 들었다.구글 클라우드에서 받은 크레딧을 사용할 수 있지 않을까 하고 인스턴스를 만들려고 하다 보니 GPU는 유료로 써야 한단다. 한 달 내내 돌릴 건 아니지만, 그래도 예상 가격표를 보니 차마 손이 가지 않는다.    찾아보니 학교나 공공기관에서 컴퓨팅 자원을 빌려주는 경우가 있긴 한데 내가 지금 이용할 수 있는 건 없다. 클라우드를 이용하든 컴퓨터를 사든 간에 베이스라인보다 개선할 수 있다는 희망이 있어야 하는데, 지금으로서는 한 번 돌려보고 나서부터 뭘 해야 할지 전혀 감을 잡지 못한 상태라 헛돈만 쓸 것 같다..

다른 모델 조사 베이스라인 코드에서 사용한 MLP-KTLim/llama-3-Korean-Bllossom-8B 모델보다 과제에 더 적합한 모델이 있을지도 모른다는 생각이 들어 허깅페이스에서 찾아보니 asiansoul/SmartLlama-3-Ko-8B라는 것이 있다. 모델 카드를 보면 Multi-Turn Conversational Abilities를 높이기 위해 abacusai/Llama-3-Smaug-8B를 병합했다고 나와 있어, 경진대회에서 요구하는 과제를 푸는 데 유리하지 않을까 하는 생각이 들었다. 하지만 모델 카드를 복사해 Claude에 물어보니 부정적이다. 과제 기술서와 FAQ의 주요 내용을 고려하면: 1. 데이터 증강 및 외부 데이터 사용:    - (가) 유형에서는 외부 데이터 사용이나 데이터..

공모전 및 경진대회 정보를 조사하다가 국립국어원에서 개최하는 ‘말평’ 경진대회를 알게 됐다.지난 1학기에 머신러닝 과목을 수강하면서 캐글 대회에 참가했고, 얼마 전 챗GPT 활용 아이디어 공모전에도 나가 봤으니, 이제 전공 및 관심 분야에 좀 더 가까운 대회에 나가보면 좋겠다고 생각하던 참이었다.게다가 때마침 직장의 이번주 업무가 허깅페이스 책을 교정하는 것이라, 경진대회에 참가하면서 책으로 배우면 내 공부도 되고 책 저자에게 더 좋은 피드백도 줄 수 있어 시너지 효과가 크겠다는 판단을 했다. 현재 열려 있는 과제 중 ‘대화 맥락 추론(가 유형)’을 선택했다.https://kli.korean.go.kr/benchmark/taskOrdtm/taskList.do?taskOrdtmId=144 기준 모델: ht..

복수전공 신청 기간이 또 돌아왔다.아직도 결정하지 못했다. 주로 들여다보는 학과들: 학과하고 싶은 이유하기 싫은 이유인공지능학과인공지능 관련 과목을 공부할 수 있다.어디 가서 인공지능을 전공했다고 당당하게 말하기가 힘들 것 같다.로보틱스도 인공지능도 모두 약해서 죽도 밥도 안 될 것 같다.기계제어공학과로보틱스 관련 과목이 많다.복수 전공을 하느라 다른 학과 과목을 들을 여유가 사라질 것이다.너무 공돌이가 되고 싶지 않다.AI크리에이터학과적당히 재미있고 실용적일 것 같다.이미 많이 다뤄봤고, 안 써본 것들은 그냥 써보기만 하면 되는데 굳이 전공으로 배워야 할까.그리고 학과명이 너무 전문대스럽다고 할까..멀티미디어디자인학과힙해지고 싶다.전공 과목을 열 몇 개나 들을 만큼 큰 시간 투자를 하고 싶지는 않다. ..