전체 글 (83) 썸네일형 리스트형 AI-hub 공공데이터를 활용하여 한국어-영어 번역 LLM 만들기 (3) GPT 학습시키기 드디어 GPT를 이용한 학습을 시작해보도록 하겠습니다.시작에 앞서 필자의 컴퓨터 사양 및 라이브러리 버전에 대해 알려드리겠습니다.CPU : i7-8700K, 3.70GHzGPU : NVIDIA GeForce RTX 2080 Ti 11GB, 메모리 : 64GB python==3.10pytorch==2.1.0+cu118이외 사용한 라이브러리는 pandas, sklearn, transformers, nltk 입니다.nltk에서 제공하는 bleu score로 모델의 성능을 평가해보도록 하겠습니다. import pandas as pdfrom sklearn.model_selection import train_test_splitfrom torch.utils.data import Datasetfrom transform.. AI-hub 공공데이터를 활용하여 한국어-영어 번역 LLM 만들기 (2) 모델 불러오기 LLM만들기 (1)편에서는 AI-hub의 공공 데이터셋을 불러와 하나의 파일로 저장을 완료하였습니다.(2) 편에서는 fine-tuning 하고자 하는 모델을 직접 불러와보도록 하겠습니다. 그 전에 먼저 어떤 LLM들이 존재하는지 알아보도록 하겠습니다.최근 자연어 처리분야에서 LLM이라고 불리는 모델들은 대체로 Transformer구조를 기반으로 한 모델들입니다.최근 없어서는 안될 요소가 된 Chat-GPT, BERT, RoBERTa, DistillBERT 등 모델의 크기나 구조에따라 매우 다양한 버전이 존재하지만 대부분 GPT/BERT를 기반으로 파생된 모델들입니다. 그럼 GPT와 BERT는 뭐가 다른것이냐? 이는 Transformer의 구조에서 인코더를 사용했느냐, 디코더를 사용했느냐에 따라 달라지게 .. AI-hub 공공데이터를 활용하여 한국어-영어 번역 LLM 만들기 (1) 데이터 가공 요즘 핫한 LLM을 이용하여 토이프로젝트를 진행해보도록 하겠습니다. (필자도 NLP는 처음이기에 GPT의 훈련 포스트에서 잘못된 정보를 제공할 수 있습니다!!!)가장 먼저 데이터가 필요하겠죠?데이터는 국가에서 수집, 개방한 AI-Hub에서 받아오도록 하겠습니다. https://www.aihub.or.kr/ AI-Hub[교통물류] 상용 자율주행차 야간 자동차 전용도로 데이터 #자율주행차 # 상용 자율주행 # 상용 자율주행차 # 자율주행 데이터 #자율주행 조회수 6,847 관심등록 10 다운수 16www.aihub.or.kr AI-Hub 홈페이지에 접속한 후 데이터 찾기 버튼을 클릭하고나서 위 그림과 같이 다운로드순으로 데이터를 조회해줍니다! 위 데이터셋을 다운로드 해줍니다.데이터를 다운로드 하기 위해서.. 간단 공식 정리 나머지 구하기1. (A + B) % C = ((A % C) + (B % C)) % C-> (A + B + D) % C = ((A % C) + (B % C) + (D % C)) % C-> if 구간 S[j] % C == S[i] % C : (S[j] - S[i]) % C = 0 Segment Anything Model(SAM) 사용하기 Meta AI Research (Facebook)에서 제작한 SAM을 사용하는 방법에 대해 포스팅 하겠다.https://bestkcs1234.tistory.com/73 에서 리뷰한 모델이고 페이스북에서 아주 대용량의 데이터를 이용해 제작한 모델이다. 우선 해당 깃허브 https://github.com/facebookresearch/segment-anything 에 접속해서 repo를 다운받아 준다.1. 직접 알집파일로 다운받기2. 파이참 터미널에서 git clone 하기2-1. git clone https://github.com/facebookresearch/segment-anything.git 입력하여 깃허브를 현 directory에 clone2-2. cd segment-anything; pip .. Adaptformer: Adapting vision transformers for scalable visual recognition 리뷰 Chen, Shoufa, Chongjian Ge, Zhan Tong, Jiangliu Wang, Yibing Song, Jue Wang, and Ping Luo. "Adaptformer: Adapting vision transformers for scalable visual recognition." Advances in Neural Information Processing Systems 35 (2022): 16664-16678. AdaptFormer: Adapting Vision Transformers for Scalable Visual RecognitionRequests for name changes in the electronic proceedings will be accepted with no q.. Vision transformer adapter for dense predictions 리뷰 Chen, Zhe, Yuchen Duan, Wenhai Wang, Junjun He, Tong Lu, Jifeng Dai, and Yu Qiao. "Vision transformer adapter for dense predictions." arXiv preprint arXiv:2205.08534 (2022). Vision Transformer Adapter for Dense PredictionsThis work investigates a simple yet powerful dense prediction task adapter for Vision Transformer (ViT). Unlike recently advanced variants that incorporate vision-specific ind.. Medical SAM Adapter: Adapting Segment Anything Model for Medical Image Segmentation 리뷰 Wu, Junde, Rao Fu, Huihui Fang, Yuanpei Liu, Zhaowei Wang, Yanwu Xu, Yueming Jin, and Tal Arbel. "Medical sam adapter: Adapting segment anything model for medical image segmentation." arXiv preprint arXiv:2304.12620 (2023). Medical SAM Adapter: Adapting Segment Anything Model for Medical Image SegmentationThe Segment Anything Model (SAM) has recently gained popularity in the field of image segm.. 이전 1 2 3 4 ··· 11 다음
