비전공자의 인공지능 고군분투기

안녕하세요,  오늘은 QLoRA (Quantized Low-Rank Adapter) 에 대해 간단하게 리뷰해보도록 하겠습니다.QLoRA는 파라미터 효율적 미세 조정(PEFT, Parameter-Efficient Fine-Tuning)을 위한 방법 중 하나로, 대형 언어 모델(LLM)을 저비용으로, 더 적은 자원으로 미세 조정하기 위해 설계되었습니다. 특히 FP4(4-bit 부동소수점) 양자화와 낮은 Rank 어댑터(Low-Rank Adapter)를 결합하여 효율성과 성능을 극대화합니다. 그렇다면, LoRA와 QLoRA의 차이가 무엇일까요? LoRA는 기존 모델의 일부 파라미터만 저랭크 형태로 미세 조정하여 메모리와 연산 비용을 줄이는 방법이고,QLoRA는 LoRA에 4비트 양자화를 추가하여 더 적은 메모..

안녕하세요,  오늘은 Computer Vision 논문리뷰를 해보려고 합니다. 비전공자이다보니까 수식이 어떻게 활용되었는지 논문을 읽을때마다 어렵기도 하고, 어려운 부분인 것 같아요.제가 다룰 논문 리뷰들에서는 어떻게 수식이 적용되었는지 보여드릴 예정이니 비전공이신분들도 두려워마시고 차근차근 읽어서 가져가시기 바랍니다. Multimodal에 관한 연구를 하시는 분들에게 조금이나마 도움이 되시기 바랍니다.  DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation ( Ruiz, N., Li, Y., Jampani, V., Pritch, Y., Rubinstein, M., & Aberman, K. CVPR 2023..

안녕하세요, 오늘은 대학원 입학 전에 참여하였던 Deep daiv에서 다루었던 논문인 ReACT에 대해 리뷰해보도록 하겠습니다. REACT: SYNERGIZING REASONING AND ACTING IN LANGUAGE MODELS   ReACT언어모델은 추론과 실행에서 좋아지고 있지만, 두가지 방향은 여전히 분리되어 있다.ReACT는 두가지 기본 기능을 결합하면 어떻게 되는지를 보여준다. AbstractLLM은 언어를 이해하고 대화형 의사결정 작업 전반에 걸쳐 좋은 기능을 보여주었지만 추론 및 실행은 주로 별도의 주제로 연구되었다. 본 문서에서는 추론 추적과 작업별 작업을 interleaved 방식으로 생성하기 위해 LLM을 사용하여 둘 사이의 큰 시너지 효과를 허용하는 방법을 살펴본다.Interle..