코딩에서 살아남기

He, Xiangnan, et al. "Neural Collaborative filtering." Proceedings of the 26th international conference on world wide web. 2017 리뷰 0. Abstract1. Introduction2. Preliminaries    2-1 Learning from Implicit Data    2-2 Matrix Factorization3. Neural Collaborative Filtering    3-1 General Framework    3-2 Generalized Matrix Factorization    3-3 Multi-Layer Perceptron    3-4 Fusion of GMF and MLP4. Ex..

저희 팀의 파이널 주제는 "LLM 활용 대화형 상품 추천 시스템"입니다.이러한 주제에 맞춰서 뮤지컬, 전시회를 추천해 주는 시스템을 개발하고자 합니다.개발에 앞서 추천 모델에 관하여 Deepfm 모델을 추천을 받았는데요.오늘 글에서는 이 모델에 대한 논문 리뷰와 분석을 적어보고자 합니다.1. DeepFM: A Factorization-Machine based Neural Network for CTR Prediction 리뷰2. 적용해 볼 과제 리뷰할 논문:"DeepFM: A Factorization-Machine based Neural Network for CTR Prediction" ○ 클릭률(CTR, Click-Through Rate)은 추천 시스템에서 매우 중요    ● So, 여러 추천 시스템에서..

github 링크4번째 미니 프로젝트 주제는 "LLM을 연동한 내외부 문서 기반 질의응답 시스템"였습니다.대학원에 가야겠다고 결심하고 난 뒤로 제대로 듣지 않았던 LLM 부분에 대해서 하려니 힘들더라고요...진짜 들으라고 하지 않았으면 하나도 모르고 eng? 아 몰랑~ 해죠! 하고 못했을 것 같습니다.[사실 gpt한테 해줘를 하루정도 시현했습니다] 저희 조는 "운전면허 필기시험 준비생들을 위한 LAG 기술을 활용한 챗봇"을 진행하고자 했고처음에 생각한 주요 기능은 아래와 같습니다.    ● LAG 연동: 운전면허 필기 교재 및 이론 문서 분석     ● 실시간 답변: 사용자 질문에 정확하고 신속한 응답 제공     ● 모의시험 기능: 실제 시험과 유사한 문제 제공저는 아래를 해보았습니다. gpt에 도움을..

10장에서는 인공 신경망 소개와 첫 번째 심층 신경망을 훈련했습니다(몇 개의 은닉층만으로 이루어진 얕은 네트워크)고해상도 이미지에서 수백 종류의 물체를 감지하는 것처럼 복잡한 문제를 다뤄야 한다면 어떻게 해야할까?[훈련 중 마주칠 수 있는 문제들]    ● 까다로운 그레디언트 소실 or 그레디언트 폭주 문제에 직면 가능        - 두 현상 모두 하위층을 훈련하기 어렵게 함    ● 대규모 신경망을 위한 훈련 데이터가 충분하지 않거나 레이블을 만드는 작업에 비용이 많이 들 수 있음    ● 훈련이 극단적으로 느려질 수 있음    ● 수백만 개의 파라미터를 가진 모델은 훈련 세트에 과대적합될 위험이 高       (특히, 훈련 샘플 부족이나 잡음이 많은 경우 심함)아래의 목차와 같이 이와 관련한 내용을..

해당 부분부터는 책 기준으로 Part 2 신경망과 딥러닝 부분을 정리할 예정입니다.10장에서의 내용은 책의 목차를 재구성하여 소개하고 다층 퍼셉트론(MLP;Multi-Layer Perceptron), Keras API를 사용한 인공 신경망 구현 등에 대하여 학습할 것입니다.Chap 10.1. 퍼셉트론    - 퍼셉트론    - 다층 퍼셉트론과 역전파    - 회귀를 위한 다층 퍼셉트론    - 분류를 위한 다층 퍼셉트론2. 케라스로 다층 퍼셉트론 구현하기    - 시퀀셜 API를 사용해 이미지 분류기 만들기    - 시퀀셜 API를 사용해 회귀용 다층 퍼셉트론 만들기    - 함수형 API를 사용해 복잡한 모델 만들기    - 서브클래싱 API로 동적 모델 만들기    - 모델 저장/복원/콜백    - ..

Chpa 9 비지도 학습 부분에서 군집 부분과 가우시안 혼합 부분의 양이 많아서 Part-1과 Part-2로 각각 나누어 포스팅했습니다. 이번 글에서는 가우시안 혼합에 관하여 알아보겠습니다.Part-1 바로 가기(Chap9- 군집)Chap9 목차1. 군집    - k-평균    - 군집을 사용한 이미지 분할, 전처리, 준지도 학습    - DBSCAN    - 다른 군집 알고리즘2. 가우시안 혼합   - 이상치 탐지   - 클러스터 개수 선택(가능도 함수)   - 베이즈 가우시안 혼합 모델   - 이상치/특이치 탐지를 위한 알고리즘2. 가우시안 혼합(GMM;Gaussian Mixture Model)○ 샘플이 파라미터가 알려지지 않은 여러 개의 혼합된 가우시안 분포에서 생성되었다고 가정하는 확률 모델○ 하..

8장에서 가장 널리 사용되는 비지도 학습 방법인 차원 축소를 정리했습니다. 이 장에서는 몇 가지 비지도 학습과 알고리즘을 추가로 알아봅니다.○ 군집(Clustering)    ● 비슷한 샘플을 클러스터(Cluster)로 모음    ● 데이터 분석, 고객 분류, 추천 시스템, 검색 엔진, 이미지 분할, 준지도 학습, 차원 축소 등에서 이용할 수 있음○ 이상치 탐지(Outlier Detection)    ● '정상' 데이터가 어떻게 보이는지를 학습    ● 비정상 샘플을 감지하는 데 사용    e.g. 제조 라인에서 결함 제품을 감지하거나 시계열 데이터에서 새로운 트렌드를 찾기○ 밀도 추정(Density Estimation)    ● 데이터셋  생성 확률 과정의 확률 밀도 함수(PDF;Probability ..

머신러닝 문제는 훈련 샘플이 각각 수천에서 수백만 개의 특성을 가지고 있습니다.이렇게 많은 특성은 훈련을 느리게 할 뿐 아니라, 좋은 솔루션을 찾기 어렵게 만듭니다.이런 문제를 차원의 저주(Curse Of Dimensionality)라고 합니다.차원을 축소 시키면 일부 정보가 유실됩니다. 그래서 훈련 속도가 빨라질 수는 있지만 시스템 성능이 조금 나빠질 수 있습니다. 또한 파이프라인이 조금 더 복잡하게 되고 유지 관리가 어려워집니다. 그러므로 차원 축소를 고려하기 전에 훈련이 너무 느린지 원본 데이터로 시스템을 훈련해봐야 합니다. 어떤 경우에는 훈련 데이터의 차원을 축소시키면 잡음이나 불필요한 세부사항을 걸러내므로 성능을 향상시킬 수 있습니다. 일반적으로는 훈련 속도만 빨라집니다.훈련 속도를 높이는 것외..

○ 대중의 지혜(Wisdom of the Crowd): 무작위로 선택된 수천 명의 사람에게 복잡한 질문을 할 때 모은 답이 전문가의 답이 낫다.○ 앙상블 학습(Ensemble Learning): 일련의 예측기로부터 예측을 수집하면 가장 좋은 모델 하나보다 더 좋은 예측을 얻을 수 있을 것. 이러한 일련의 예측기 ○ 앙상블 방법(Ensemble Method): 훈련 세트로부터 무작위로 각기 다른 서브셋을 만들어 일련의 결정 트리를 훈련 가능  (예측을 하려면 모든 개별 트리의 예측을 구하기) → 가장 많은 선택을 받은 클래스가 예측○ 랜덤 포레스트(Random Forest): 결정 트리의 앙상블해당 챕터에서는 랜덤 포레스트, 배깅, 부스팅, 스태킹 등 인기 있는 앙상블 방법을 설명합니다.Chap7 목차 1..

SVM 같이 결정 트리(Decision Tree)는 분류, 회귀, 다중출력 작업도 가능한 다재다능한 머신러닝 알고리즘입니다.또한 매우 복잡한 데이터셋도 훈련이 가능한 강력한 알고리즘입니다.이전에 과대적합이 나오긴 하지만 2장에서 사용했던 주택 가격 데이터셋을 완벽하게 맞추는 DecisionTreeRegressor 모델을 사용했습니다. 해당 장에서는 결정 트리의 훈련, 시각화, 예측 방법에 대해 알아봅니다. 그다음 CART 훈련 알고리즘과 트리에 규제를 가하는 방법 및 회귀 문제에 적용하는 방법에 대해 알아보겠습니다.Chap6 목차1. 결정 트리 학습, 시각화, 예측    - 결정 트리 학습과 시각화    - 예측2. 클래스 확률 추정, CART 훈련 알고리즘    - 클래스 확률 추정    - CART ..