전체 글

경험 정리용 연습장
GCP

[GCP] 컨테이너 이미지 빌드 및 연속 배포

빌드 구성 파일 생성 (빌드를 하려고 하는 디렉토리 안에 생성) steps: - name: 'gcr.io/cloud-builders/docker' args: ['build', '-t', 'gcr.io/$PROJECT_ID/streamlit:$COMMIT_SHA', '.'] - name: 'gcr.io/cloud-builders/docker' args: ['push', 'gcr.io/$PROJECT_ID/streamlit:$COMMIT_SHA'] - name: 'gcr.io/google.com/cloudsdktool/cloud-sdk' entrypoint: gcloud args: - 'run' - 'deploy' - 'gcp-exam-dumps' - '--image' - 'gcr.io/$PROJECT_ID..

GCP

[GCP] 컨테이너 이미지 빌드 및 구글 레지스트리에 저장

빌드를 하려고 하는 디렉토리 안에 빌드 구성 파일 (cloudbuild.yaml) 생성 steps: - name: 'gcr.io/cloud-builders/docker' args: ['build', '-t', 'gcr.io/$PROJECT_ID/IMAGE_NAME', '.'] - name: 'gcr.io/cloud-builders/docker' args: ['push', 'gcr.io/$PROJECT_ID/IMAGE_NAME'] images: ['gcr.io/$PROJECT_ID/IMAGE_NAME'] 명령어 입력 gcloud builds submit ERROR: (gcloud.builds.submit) INVALID_ARGUMENT: could not resolve source: googleapi: E..

GCP

[GCP] 깃허브 미러링 및 클론

GitHub 저장소를 Cloud Source Repositories에 미러링 Cloud Source Repository 클론 ssh-keygen -C "email" cat .ssh/id_rsa.pub 클라우드 쉘을 열어 SSH키 생성 후 키 복사

도커

[도커] docker stats 이름순으로 정렬 및 모니터링

watch 'docker stats --no-stream --format "table {{.Name}}\t{{.ID}}\t{{.CPUPerc}}\t{{.MemUsage}}\t{{.MemPerc}}\t{{.NetIO}}\t{{.BlockIO}}\t{{.PIDs}}" | sort -k 1 -h'

프로젝트

상품 카테고리 분류 서비스 개발

프로젝트 목표: 상품명을 입력 받아 적절한 카테고리를 반환하는 API 개발 기간: 2021년 5월 ~ 2021년 11월 데이터 확보 1. 수요기업에게 mysql 덤프 파일을 전달 받아 로컬에 임포트 2. pymysql을 사용해 db 접근 후 상품명과 카테고리 ID를 csv 파일로 저장 (중복 제거 포함) 3. 데이터 정보 - 크기(상품 개수): 약 630만개 - 카테고리 수: 약 2900개 (카테고리는 4단계의 depth로 구성 되어 있으며 우선은 depth 4를 예측하는 것을 목표로 함) 데이터 처리 1. Nori Analyzer를 사용하여 상품명을 형태소 단위로 분리 2. 형태소 단위로 분리된 시퀀스들로 SentencePiece 학습 (type=BPE) 3. 후에 학습 및 추론 때 사용될 tokeni..

IntegerString
코딩 연습장