프로젝트 목표: 특정 배우 및 행동을 등장한 비디오 클립을 생성해주는 서비스를 위한 AWS 구축, API 및 파이썬 프로그램 개발 기간: 2023년 1월 ~ 2023년 5월 구성원: 웹 프론트 및 백엔드 개발 (2명), 모델 리서치 및 추론 모듈 개발 (3명), AWS 구축 및 파이썬 프로그램 개발 (본인) AWS 구축 1. 대표님이 회사를 소개할만한 SaaS가 필요하다고 하셔서 퍼블릭 클라우드를 사용함 2. 이전에 사수님이 음원분리 서비스를 AWS에 구축해놓은 사례가 있어 해당 사례를 참고하여 구축함 3. 사용한 AWS 서비스: - API Gateway + Lambda: 서비스 웹과 통신하는 REST API 구축 - DynamoDB: 타겟 배우 및 행동, Queue에 등록된 시각, 작업 시작 및 종료 ..
프로젝트 목표: 입력 받은 서지(도서) 정보와 검색 엔진을 이용해 나온 서지들과의 유사도를 반환하는 API 개발 및 수요 업체 온프레미스에 배포 기간: 2022년 10월 ~ 2022년 12월 구성원: 모델 파인튜닝 및 추론 모듈 개발 (1명), API 개발 및 배포 (본인) API 개발 1. FastAPI 사용: 빠른 속도, 사용하기 쉬움 2. 검색 엔진은 수요 업체에서 제공해준 자바 패키지를 사용: - 딥러닝 모델로 추론이 필요한 상황이라 파이썬을 사용해야하므로 자바 패키지를 파이썬에서 사용이 가능하도록 도와주는 JPype 모듈 사용 3. 3개의 엔드포인트 구현: - /health (GET): API 상태 체크 - /rank (POST): 검색 엔진 이용을 사용하지 않고 서지 정보와 검색 엔진 결과 N..
프로젝트 목표: 오디오 및 비디오 파일(32MB 미만)을 입력 받아 음원 분리 후 결과 파일의 경로를 반환하는 API 개발 및 클라우드(GCP)에 배포 기간: 2022년 6월 ~ 2022년 7월 지연 시간이 가장 짧도록 단일 리전 (서울) 설정 외부에서 오디오 파일을 다운로드 가능해야 하므로 세분화된 엑세스 제어 설정 컬렉션은 미리 명시적으로 만들 필요 없음, 문서에 데이터를 추가할 때 암시적으로 생성됨 키 파일을 key.json으로 변경하는 이유는 Dockerfile 중 환경변수를 다음와 같이 작성했기 때문 (GOOGLE_APPLICATION_CREDENTIALS=key.json) Separate API를 먼저 띄우는 이유는 Main API가 Separate API의 주소를 환경변수로 받아야하기 때문 ..
프로젝트 목표: 상품명을 입력 받아 적절한 카테고리를 반환하는 API 개발 기간: 2021년 5월 ~ 2021년 11월 데이터 확보 1. 수요기업에게 mysql 덤프 파일을 전달 받아 로컬에 임포트 2. pymysql을 사용해 db 접근 후 상품명과 카테고리 ID를 csv 파일로 저장 (중복 제거 포함) 3. 데이터 정보 - 크기(상품 개수): 약 630만개 - 카테고리 수: 약 2900개 (카테고리는 4단계의 depth로 구성 되어 있으며 우선은 depth 4를 예측하는 것을 목표로 함) 데이터 처리 1. Nori Analyzer를 사용하여 상품명을 형태소 단위로 분리 2. 형태소 단위로 분리된 시퀀스들로 SentencePiece 학습 (type=BPE) 3. 후에 학습 및 추론 때 사용될 tokeni..
