비전공자의 인공지능 고군분투기

안녕햐세요, 오늘은 한국정보과학회에서 주최한 2024 한국소프트웨어 종합학술대회(KSC2024) 첫날 후기를 적어보려합니다.  정보과학회 링크 : https://www.kiise.or.kr/academy/main/main.fa 올해는 12월 18일 수요일부터 20일 금요일까지 3일간 여수expo에서 진행이 되었습니다. 저는 10시부터 진행되는 Oral 발표로 참여하게 되어 용산에서 5시 기차를 타고 8시경 여수expo역에 도착했습니다. 바다 옆이라서 그런지 바람이 많이 불었습니다. 10시부터 12시까지 발표를 완료하고, 제공되는 식권으로 점심을 먹었습니다.그리고 본 학술대회에서 Vector DB 관련한 워크숍을 듣기위해 다시 컨퍼런스 홀로 갔습니다. LLM에 대한 관심이 증가함에 따라 Vector DB에..

안녕하세요,  오늘은 QLoRA (Quantized Low-Rank Adapter) 에 대해 간단하게 리뷰해보도록 하겠습니다.QLoRA는 파라미터 효율적 미세 조정(PEFT, Parameter-Efficient Fine-Tuning)을 위한 방법 중 하나로, 대형 언어 모델(LLM)을 저비용으로, 더 적은 자원으로 미세 조정하기 위해 설계되었습니다. 특히 FP4(4-bit 부동소수점) 양자화와 낮은 Rank 어댑터(Low-Rank Adapter)를 결합하여 효율성과 성능을 극대화합니다. 그렇다면, LoRA와 QLoRA의 차이가 무엇일까요? LoRA는 기존 모델의 일부 파라미터만 저랭크 형태로 미세 조정하여 메모리와 연산 비용을 줄이는 방법이고,QLoRA는 LoRA에 4비트 양자화를 추가하여 더 적은 메모..

안녕하세요, 오늘은 대학원 입학 전에 참여하였던 Deep daiv에서 다루었던 논문인 ReACT에 대해 리뷰해보도록 하겠습니다. REACT: SYNERGIZING REASONING AND ACTING IN LANGUAGE MODELS   ReACT언어모델은 추론과 실행에서 좋아지고 있지만, 두가지 방향은 여전히 분리되어 있다.ReACT는 두가지 기본 기능을 결합하면 어떻게 되는지를 보여준다. AbstractLLM은 언어를 이해하고 대화형 의사결정 작업 전반에 걸쳐 좋은 기능을 보여주었지만 추론 및 실행은 주로 별도의 주제로 연구되었다. 본 문서에서는 추론 추적과 작업별 작업을 interleaved 방식으로 생성하기 위해 LLM을 사용하여 둘 사이의 큰 시너지 효과를 허용하는 방법을 살펴본다.Interle..