연마페인킬러님의 블로그

대회 소개1. 소개Dialogue Summarization 경진대회는 주어진 데이터를 활용하여 일상 대화를 바탕으로 요약문을 생성하는 모델을 구축하는 대회입니다.일상생활에서 대화는 항상 이루어지고 있습니다. 회의나 토의는 물론이고, 사소한 일상 대화 중에도 서로 다양한 주제와 입장들을 주고 받습니다. 나누는 대화를 녹음해두더라도 대화 전체를 항상 다시 들을 수는 없기 때문에 요약이 필요하고, 이를 위한 통화 비서와 같은 서비스들도 등장하고 있습니다.그러나 하나의 대화에서도 관점, 주제별로 정리하면 수 많은 요약을 만들 수 있습니다. 대화를 하는 도중에 이를 요약하게 되면 대화에 집중할 수 없으며, 대화 이후에 기억에 의존해 요약하게 되면 오해나 누락이 추가되어 주관이 많이 개입되게 됩니다.참가자들은 대회..

10/14일 주는 그룹 스터디를 진행하며 Deep Learning과 PyTorch 온라인 강의를 듣는 주였습니다. 저희 팀 분위기 짱짱 좋음...!🤩딥러닝의 발전 5단계 5단계는 현재 text를 다룰 때만 해당이 되기 때문에 text로 예시를 들면... 1. SW 1.0 방식 (Rule based programming) input을 넣어 output을 도출해낼 때 필요한 연산들을 다 사람의 손으로 계산한 것e.g. 입력된 text가 긍정적인지 부정적인지 판단하고 싶을 때 필요한 연산들을 다 사람이 설계한 것 (-> hand-designed program)2. SW 1.5 방식 (Conventional machine learning)입력된 text에서 이러한 특징들을 뽑아야돼 하는 것은 사람이 설계하고 ..

Document Type Classification | 문서 타입 분류문서는 금융, 보험, 물류, 의료 등 도메인을 가리지 않고 많이 취급됩니다. 이 대회는 다양한 종류의 문서 이미지의 클래스를 예측합니다.1. 대회 소개이번 대회는 computer vision domain에서 가장 중요한 태스크인 이미지 분류 대회입니다.이미지 분류란 주어진 이미지를 여러 클래스 중 하나로 분류하는 작업입니다. 이러한 이미지 분류는 의료, 패션, 보안 등 여러 현업에서 기초적으로 활용되는 태스크입니다. 딥러닝과 컴퓨터 비전 기술의 발전으로 인한 뛰어난 성능을 통해 현업에서 많은 가치를 창출하고 있습니다.그 중, 이번 대회는 문서 타입 분류를 위한 이미지 분류 대회입니다. 문서 데이터는 금융, 의료, 보험, 물류 등 산업 ..

Spotify API를 활용한 음악 추천 모델 배포1. 목표 및 개요 목표: Spotify API를 활용해 가져온 데이터를 기반으로 각 상황에 맞는 음악을 추천해주는 머신러닝 모델을 개발하고, 이를 FastAPI를 사용해 실시간 서비스로 배포하는 것을 목표로 한다. 또한 Airflow와 같은 워크플로우 오케스트레이터를 활용해 배치 서빙을 통해 주기적으로 모델을 재학습하고 분석 결과를 갱신하는 자동화 파이프라인을 구축합니다.핵심 기술 스택: MLflow (모델 실험 관리), FastAPI (실시간 온라인 서빙), Airflow(배치 서빙), Streamlit (모델 예측 결과 시각화)2. 프로젝트 단계데이터 수집 및 전처리: Spotify API를 활용하여 데이터셋 구축, 이후 해당 데이터셋을 활용해 음악..

강의 자료교재: https://visioneer.notion.site/ML-Ops-abit-ly-inseop_mlops-f3dae08a6e02482f80fa23dc0196cc70구글드라이브: https://drive.google.com/drive/folders/1uEnYvoxRU4gxBDV2DzPLJRW59WbRn4Z9 이번 강의를 통해 MLOps란 단어를 처음 접했고 그러한 개념이 존재한다는 것을 배웠습니다. 세상이 제 생각보다 빠르게 변화하고 있고, 세상에는 배워야할 것들이 산더미처럼 많다는 것을 실감하게 해준 강의였습니다. 강사님이 친절하게 설명을 매우 잘 해주셨고, 특히 교재가 배포되었기에 모르는 부분은 나중에 교재를 참고해서 스스로 다시 공부해볼 수 있다는 점이 좋은 것 같습니다. 내일부터 ML..

Github link : https://github.com/hyeon3730/AILAB_AItheory 현재 참여하고 있는 부트캠프에서 처음으로 진행한 프로젝트입니다. 제목에서도 유추할 수 있다싶이 LangChain을 활용하여 LLM 애플리케이션을 개발하는 프로젝트인데요, QA Engine을 개발하는 팀과 Chat Bot을 개발하는 팀, 이렇게 크게 두 팀으로 나뉘었습니다. 각 팀은 또다시 각각 4인으로 구성된 4개의 팀들로 나뉘었습니다. 저는 그 중 QA Engine 개발 3팀에 배정되었는데요, 해당 팀에서 저는 LLM API 호출 및 응답 처리 & 벡터 DB에서 정보 검색 관련 모듈 만들기 를 담당하였습니다. 자세한 사항은 위에 깃헙링크에 들어가면 볼 수 있습니다. 아래는 이번 프로젝트 멘토링을 맡아..

Github link : https://github.com/Upstage-AI-Lab-4/upstage-ai-ml-regression-ml-5대회소개 참고로 저는 서울인도 아니고 부동산에 그닥 관심이 있는 것도 아니기 때문에 서울시 부동산에 관해서는 지식이 하나도 없었다고 봐야겠네요. 그래도 어쩌겠습니까 해내야죠. 이 대회에서는 baseline code가 미리 주어졌습니다. 평가는 RMSE로 하는데 RMSE는 말그대로 error를 뜻하는거니 아무래도 RMSE 점수가 낮을수록 더 효과적으로 서울의 아파트 실거래가를 예측하는 모델을 구축했다는 것이겠죠?그럼 baseline code의 RMSE 점수를 보겠습니다 --> 47133.7121이제부터 아래에 소개해드릴 작업들은 바로 이 RMSE보다 더 낮은 RMSE..

개인적으로 수학과 통계를 좋아하기 때문에 해당 강의는 기대되었던 강의 중 하나였습니다. 초반에는 기초적인 내용들이 나와서 복습한다는 느낌으로 들었지만, 나중으로 갈수록 내용들이 많이 어려워지더라고요. 솔직히 다 어디서 들어본 내용이었는데 한국단어로 설명을 하니깐 굉장히 헷갈리고 어렵게 느껴졌던 것 같습니다. 그래도 강의 자료가 굉장히 깔끔히 잘 정리되어 있어서 추후 참고하여 혼자서 다시 복습해보아야겠습니다. 참고로 강의 자료는 9/30/2024 까지만 접근 가능하다고 그랬습니다. 또한 강의 자료는 공유가 불가하여 현재 이 블로그에 내용을 가져와 설명하지 못한다는 점은 좀 아쉬운 것 같습니다.그래도 강사님도 매우 열정적이셨고, 특히 강의 마지막 날에는 수강생들의 자원을 받아 문제를 풀어보는 시간을 가졌는데..

강의 주제 : Git 협업을 위한 원리 학습하기목차 :- Git 고급 명령어- Github 활용- 팀원과 협업강의 자료 : https://drive.google.com/drive/folders/1s-O34tGL5T0YyC9OJNvBkWs3GUXOWbM8VI 에디터 설명 노션 : https://getinthere.notion.site/VI-8d468b16b02e4ae6a27285cbeaaa84dc 이번에 Git 강의를 맡으신 최주호 강사님은 네이버카페와 (주소 : https://cafe.naver.com/metacoding) Youtube를 하신다 (주소 : https://www.youtube.com/@metacoding). 혹시 더 배우고 싶거든 해당 채널들을 참고하면 될 듯 싶다. 특히 오늘 강의 끝무..

강의 주제 : Git 기본 원리 학습하기목차 :- 버전관리시스템- 분산버전관리시스템- Git 기본 명령어강의 자료 : https://drive.google.com/drive/folders/1s-O34tGL5T0YyC9OJNvBkWs3GUXOWbM8 * Reset과 Revert의 차이 :Reset은 history를 기억하지 못하고 되돌아간다Revert는 history를 기억하며 되돌아간다 사실 Git, GitHub, GitLab 이런 Git에 베이스한 플랫폼?들은 대학교 때 많이 사용해봤지만, 이러한 플랫폼들이 어떻게 탄생하게 되었고 어떤 이념에서 만들어졌는 지와 같은 자세한 설명은 들은 적이 없었는데 강사님이 그런 배경지식까지 설명해주셔서 상당히 강의를 재미있게 들었다. 사실 Git 사용법은 한 번도 수..