어제 제출한 결과를 확인해 보니 76점 정도 나왔다. 베이스라인 코드에서 제시한 것보다 점수가 낮다. 학습할 때 양자화해 놓고 추론 시에는 양자화를 고려하지 않은 것이 원인일까? 네, 추론 시 양자화를 고려하지 않은 것이 낮은 점수의 한 원인일 가능성이 높습니다. 이 상황에 대해 몇 가지 중요한 포인트를 짚어보겠습니다: 1. 양자화와 LoRA의 불일치: - 학습 시 4비트 양자화와 LoRA를 사용했지만, 추론 시 이를 고려하지 않았습니다. - 이로 인해 모델이 학습된 가중치를 제대로 활용하지 못했을 수 있습니다. 2. 모델 구조의 불일치: - 학습된 LoRA 가중치가 기본 모델에 제대로 적용되지 않았을 수 있습니다. 3. 정밀도 문제: - 4비트로 양자화된 모델을 전체 정밀도로 로드..
