대학일기

두 과목 다 A+를 받았다.

지금까지 배운 것지금까지 수강한 과목들을 분야별로 분류했다. 드론 및 항공 항공기상 드론공학개론 드론설계기초 드론과인공지능 드론모의조종 인공지능 및 머신러닝 AI음성인식 AI영상인식실습 머신러닝 공학 일반 공학수학기초 로봇공학개론 기계공학개론 기초전자공학 무기공학 알고리즘 게임엔진(Unity) 언어 및 인문학 기초일본어 한자성어와퍼즐 삶과사색:인문학책읽기 기초러시아어 문화로보는세계 미술로보는창의적사고 우리안의글로벌이슈 기타 임상기초메이크업 해부생리학 차례로 수강할 과목들기초부터 차근차근 쌓아 올려야 하는 과목들을 나름대로 정리했다. 정역학은 4학년 과목인데 필수 선수 과목이 없고, 동역학은 2학년 과목인데 정역학과 공학수학이 선수 과목으로 나와 있어 좀 이상하다. 아래처럼 배우는 게 맞을 것 같다. 전공..

몇 년 전에 사다놓고 읽지 않은 "전기전자공학 개론" 책이 있다. 이번에 기초전자공학을 수강하면서 좀 읽어볼까 했는데 결국 안 읽었다.학교 홈페이지에서 다운로드한 교안 PDF도 읽지 않은 채로 갖고 있다가, 시험을 치면서 열어 보고 겨우 답만 찾아서 썼다.어려운 과목이 아니고 문제도 쉽게 나왔다.이것으로 하계 집중학기도 끝이다.

국립국어원에서 개최한 ‘말평’ 경진대회에 참가해 대화 맥락 추론(가 유형) 과제를 지난 나흘 간 저녁마다 작업했지만 아직 베이스라인 점수를 넘기지 못했다.  여러 가지 할 일이 많은데 계속 붙들고 있기는 힘들고, 좀 더 쉬운 과제를 하면서 공부를 더 하는 게 나을 듯해서 이번 대회 참가를 중단하려고 한다. 나흘 간의 기록을 Claude에 주고, 이 대회를 계기로 배운 점이 무엇이고 여전히 모르는 점이 무엇인지 정리했다. 귀하의 나흘 간의 경험을 바탕으로, 배운 점과 여전히 모르는 점을 다음과 같이 정리해 보겠습니다: 배운 점 및 새로 접한 경험: 1. 대규모 언어 모델 학습 과정:    - 8B 파라미터 모델의 fine-tuning 과정을 직접 경험했습니다.    - 학습 시 발생하는 GPU 메모리 문제..

어제 제출한 결과를 확인해 보니 76점 정도 나왔다. 베이스라인 코드에서 제시한 것보다 점수가 낮다. 학습할 때 양자화해 놓고 추론 시에는 양자화를 고려하지 않은 것이 원인일까? 네, 추론 시 양자화를 고려하지 않은 것이 낮은 점수의 한 원인일 가능성이 높습니다. 이 상황에 대해 몇 가지 중요한 포인트를 짚어보겠습니다: 1. 양자화와 LoRA의 불일치:    - 학습 시 4비트 양자화와 LoRA를 사용했지만, 추론 시 이를 고려하지 않았습니다.    - 이로 인해 모델이 학습된 가중치를 제대로 활용하지 못했을 수 있습니다. 2. 모델 구조의 불일치:    - 학습된 LoRA 가중치가 기본 모델에 제대로 적용되지 않았을 수 있습니다. 3. 정밀도 문제:    - 4비트로 양자화된 모델을 전체 정밀도로 로드..

지난 달에 본선에 나가서 시상식에서 장려상을 받았는데, 그때는 상장에 이름이 인쇄돼 있지 않았다. https://ac.ychoi.kr/209 인문사회통합성과확산센터 2024 아이디어 공모전 입상두 달 쯤 전에 문득 ‘챗GPT 관련 공모전이 있지 않을까’라는 생각이 들어 찾아보니 인문사회통합성과확산센터에서 진행 중인 것이 있었다. 응모하기 전에는 이런 기관이 있는지도 몰랐다. httpac.ychoi.kr  그 후에 상장을 다시 보내주겠다는 연락을 받고 집 주소를 알려주었더니, 오늘 등기 우편으로 왔다.

어제까지의 시도를 통해, 내가 가진 4090 1개로는 베이스라인 코드 중 추론만 가능하고 학습을 할 수 없음을 확인했다. 따라서 컴퓨팅 자원부터 확보해야 그다음에 뭘 하든 할 수 있다는 생각이 들었다.구글 클라우드에서 받은 크레딧을 사용할 수 있지 않을까 하고 인스턴스를 만들려고 하다 보니 GPU는 유료로 써야 한단다. 한 달 내내 돌릴 건 아니지만, 그래도 예상 가격표를 보니 차마 손이 가지 않는다.    찾아보니 학교나 공공기관에서 컴퓨팅 자원을 빌려주는 경우가 있긴 한데 내가 지금 이용할 수 있는 건 없다. 클라우드를 이용하든 컴퓨터를 사든 간에 베이스라인보다 개선할 수 있다는 희망이 있어야 하는데, 지금으로서는 한 번 돌려보고 나서부터 뭘 해야 할지 전혀 감을 잡지 못한 상태라 헛돈만 쓸 것 같다..

다른 모델 조사 베이스라인 코드에서 사용한 MLP-KTLim/llama-3-Korean-Bllossom-8B 모델보다 과제에 더 적합한 모델이 있을지도 모른다는 생각이 들어 허깅페이스에서 찾아보니 asiansoul/SmartLlama-3-Ko-8B라는 것이 있다. 모델 카드를 보면 Multi-Turn Conversational Abilities를 높이기 위해 abacusai/Llama-3-Smaug-8B를 병합했다고 나와 있어, 경진대회에서 요구하는 과제를 푸는 데 유리하지 않을까 하는 생각이 들었다. 하지만 모델 카드를 복사해 Claude에 물어보니 부정적이다. 과제 기술서와 FAQ의 주요 내용을 고려하면: 1. 데이터 증강 및 외부 데이터 사용:    - (가) 유형에서는 외부 데이터 사용이나 데이터..

공모전 및 경진대회 정보를 조사하다가 국립국어원에서 개최하는 ‘말평’ 경진대회를 알게 됐다.지난 1학기에 머신러닝 과목을 수강하면서 캐글 대회에 참가했고, 얼마 전 챗GPT 활용 아이디어 공모전에도 나가 봤으니, 이제 전공 및 관심 분야에 좀 더 가까운 대회에 나가보면 좋겠다고 생각하던 참이었다.게다가 때마침 직장의 이번주 업무가 허깅페이스 책을 교정하는 것이라, 경진대회에 참가하면서 책으로 배우면 내 공부도 되고 책 저자에게 더 좋은 피드백도 줄 수 있어 시너지 효과가 크겠다는 판단을 했다. 현재 열려 있는 과제 중 ‘대화 맥락 추론(가 유형)’을 선택했다.https://kli.korean.go.kr/benchmark/taskOrdtm/taskList.do?taskOrdtmId=144 기준 모델: ht..

지난번에 공모전에 참가한 경험이 꽤 유익했어서 앞으로도 종종 해보면 좋겠다는 생각이 들었다. 전공인 드론/로봇 관련 공모전 소식을 어디에 정리하면 좋을지 생각해 보니, 네이버에 개설된 우리 학과 학생회 카페가 적당할 거라는 생각이 들었다.https://cafe.naver.com/dronerobot 서울사이버대학교 드론로봇융합학과 : 네이버 카페서울사이버대학교 국방융합대학 드론로봇융합학과 카페입니다.cafe.naver.com그래서 회장님께 게시판을 만들어 달라고 부탁 드렸더니 출장 길에 바쁘다며 나에게 카페 부매니저 권한을 주셨다. 그래서 게시판을 만들고 시험 삼아 글을 몇 개 올렸다. 처음에는 말머리를 분야별로 나눠 봤는데, 분야를 고르기 애매한 공모전도 있고 ‘접수 중’과 ‘마감’을 표시하는 것이 더 ..