kobert2 클리핑된 뉴스 모델에 통과시켜서 성능확인하기 모델 학습 코드 !pip install transformers !pip install torch import pandas as pd from sklearn.model_selection import train_test_split import json # JSON 데이터 불러오기 file_path = '/content/news_data.json' # 앞에서 생성한 JSON 파일 경로를 사용합니다. with open(file_path, 'r', encoding='utf-8') as file: data = json.load(file) # JSON 데이터를 DataFrame으로 변환 data_df = pd.DataFrame(data) # 'Title'과 'CategoryID' 열을 사용하여 새로운 DataFram.. 2023. 12. 10. 뉴스 클리핑 분류 KoBERT 모델 설명 환경 : Colab Pro import pandas as pd # 엑셀 파일 로드 file_path = '/content/musma.xlsx' data = pd.read_excel(file_path) # 데이터의 처음 몇 행을 확인 data.head() data.shape 데이터 전처리 # 데이터셋을 재구성하기 위해 각 카테고리 별로 데이터를 하나의 리스트에 저장합니다. # 각 뉴스 제목에 해당 카테고리의 레이블을 부여합니다. # 카테고리를 레이블로 매핑 categories = data.columns label_map = {category: i for i, category in enumerate(categories)} # (뉴스 제목, 레이블) 형식의 리스트 생성 news_data = [] for cat.. 2023. 11. 11. 이전 1 다음 728x90
