프로젝트
상품 카테고리 분류 서비스 개발
프로젝트 목표: 상품명을 입력 받아 적절한 카테고리를 반환하는 API 개발 기간: 2021년 5월 ~ 2021년 11월 데이터 확보 1. 수요기업에게 mysql 덤프 파일을 전달 받아 로컬에 임포트 2. pymysql을 사용해 db 접근 후 상품명과 카테고리 ID를 csv 파일로 저장 (중복 제거 포함) 3. 데이터 정보 - 크기(상품 개수): 약 630만개 - 카테고리 수: 약 2900개 (카테고리는 4단계의 depth로 구성 되어 있으며 우선은 depth 4를 예측하는 것을 목표로 함) 데이터 처리 1. Nori Analyzer를 사용하여 상품명을 형태소 단위로 분리 2. 형태소 단위로 분리된 시퀀스들로 SentencePiece 학습 (type=BPE) 3. 후에 학습 및 추론 때 사용될 tokeni..
