코딩에서 살아남기

개요○ 선형회귀모델 1    ● 선형회귀모델 개요    ● 선형회귀모델 가정○ 선형회귀모델 2    ● 파라미터 추정(최소제곱법)○ 선형회귀모델 3    ● 파라미터 추론(구간추정, 검정)○ 선형회귀모델 4    ● 결정계수(R^2)    ● 분산분석선형회귀모델 1 - 선형회귀모델 개요[변수 사이의 관계]○ X변수(원인)과 Y변수(결과) 사이의 관계    ● 확정적 관계: X변수만으로 Y를 100% 표현(오차항 X)        - Y = f(X)        e.g. 힘 = f(질량, 가속도), 주행거리 = f(속도, 시간)    ● 확률적 관계: X변수와 오차항이 Y를 표현(오차항 O)        - Y = f(X) + ε        e.g. 반도체 수율 = f(설비 파라미터들의 상태, 온도, 습..

○ (다변량) 데이터 예시○ 예측 모델링     ● X, Y 데이터가 주어진 상태에서 관계를 설명하는 함수식을 찾는 것 ○ 수치예측/범주예측(분류)    ● Y형태에 따라 두 개로 나누어짐    ● 연속형: 데이터 자체를 숫자로 표현    ● 범주형: 원칙적으로 숫자로 표시 불가한 데이터 e.g. 제품불량여부, 보험사기여부 등 ○ Regression(수치예측) 데이터    ※ 큰 의미에서 수치예측을 의미○ 수치예측 모델링 개요    ● 함수를 구해서 왼쪽 그림의 오른쪽 표의 X값 37이 주어졌을 때 Y값인 ??를 33으로 예측하는 것    ● 오른쪽 그림: 중고차 가격 예측○ Classification(범주예측, 분류) 데이터○ 범주예측(분류) 모델링 개요    ● 범주 사이를 잘 나눌 수 있는 모델을 ..

Self-Attentive Sequential Recommendation 논문[Submitted on 20 Aug 2018] 리뷰0. Abstract1. Introduction2. Related Work    A. General Recommendation    B. Temporal Recommendation    C.Sequential Recommendation    D. Attention Mechanisms3. Methodology    A. Embedding Layer    B.Self-Attnention block    C.Staking Self-Attention Blocks    D.Prediction Layer    E. Network Training    F. Complexity Analysi..

Final Project Agile 1차가 끝이나고 관리자 입장에서 오류, 비용, 관리를 위한 Slack Chatbot 기능을 배웠습니다. 우선 Slack 설치와 가입 및 워크스페이스 생성을 완료했다는 가정하에 다음 단계부터 진행하겠습니다. ○ Slack API 링크로 접속해서 Create New App을 눌러서 새로운 App 생성 ○ From scratch 클릭 ○ App Name 입력과 & Slack workspace 선택 후 Create App 클릭 ○ ChatBot 생성을 위해서는 3개의 Value가 필요    ● Signing Secret    ● Slack Bot Token    ● Slack App Token ○ 아래 Signing Secret 키를 show 하고 복사하여 저장해두기 ○ OA..

[Submitted on 5 Jul 2023 (v1), last revised 29 Apr 2024 (this version, v6)] Recommender Systems in the Era of Large Language Models(LLMs) 논문 리뷰0. Abstract1. Introduction2. Related Work    A. Recommender Systmes(RecSys)    B. From Pre-Trained Language Models(PLMs) to Large Language Models(LLMs)3. Deep Representation Learning for LLM-Based Recommender Systems    A. ID-Based Recommender Systems    ..

SK networks AI Camp에서 파이널 프로젝트를 2024.11.07 ~ 2025.01.02까지 진행합니다. 1차 에자일 발표를 마친 후 지금까지 진행했던 내용을 정리해보고자 합니다. 저희 팀에서 만들고자 하는 프로젝트는 "LLM을 활용한 대화형 문화 콘텐츠 추천 서비스"입니다. 주제는 전시회, 뮤지컬 투 트랙으로 진행했습니다. 1) OCR, LLM, RAG를 활용한 대화형 문화 콘텐츠(전시회) 추천2) LLM, DeepFM 모델을 활용한 좋아하는 배우 기반 원하는 장르 뮤지컬 추천 저는 2번 주제인 뮤지컬 추천 팀에서 진행하게 되었습니다. 이전에 블로그 포스팅 했던 공부 내용을 기반으로 Modeling, 데이터 전처리, streamlit 구현, Model 평가 및 개선 역할을 담당했습니다. 팀원..

He, Xiangnan, et al. "Neural Collaborative filtering." Proceedings of the 26th international conference on world wide web. 2017 리뷰 0. Abstract1. Introduction2. Preliminaries    2-1 Learning from Implicit Data    2-2 Matrix Factorization3. Neural Collaborative Filtering    3-1 General Framework    3-2 Generalized Matrix Factorization    3-3 Multi-Layer Perceptron    3-4 Fusion of GMF and MLP4. Ex..

저희 팀의 파이널 주제는 "LLM 활용 대화형 상품 추천 시스템"입니다.이러한 주제에 맞춰서 뮤지컬, 전시회를 추천해 주는 시스템을 개발하고자 합니다.개발에 앞서 추천 모델에 관하여 Deepfm 모델을 추천을 받았는데요.오늘 글에서는 이 모델에 대한 논문 리뷰와 분석을 적어보고자 합니다.1. DeepFM: A Factorization-Machine based Neural Network for CTR Prediction 리뷰2. 적용해 볼 과제 리뷰할 논문:"DeepFM: A Factorization-Machine based Neural Network for CTR Prediction" ○ 클릭률(CTR, Click-Through Rate)은 추천 시스템에서 매우 중요    ● So, 여러 추천 시스템에서..

github 링크4번째 미니 프로젝트 주제는 "LLM을 연동한 내외부 문서 기반 질의응답 시스템"였습니다.대학원에 가야겠다고 결심하고 난 뒤로 제대로 듣지 않았던 LLM 부분에 대해서 하려니 힘들더라고요...진짜 들으라고 하지 않았으면 하나도 모르고 eng? 아 몰랑~ 해죠! 하고 못했을 것 같습니다.[사실 gpt한테 해줘를 하루정도 시현했습니다] 저희 조는 "운전면허 필기시험 준비생들을 위한 LAG 기술을 활용한 챗봇"을 진행하고자 했고처음에 생각한 주요 기능은 아래와 같습니다.    ● LAG 연동: 운전면허 필기 교재 및 이론 문서 분석     ● 실시간 답변: 사용자 질문에 정확하고 신속한 응답 제공     ● 모의시험 기능: 실제 시험과 유사한 문제 제공저는 아래를 해보았습니다. gpt에 도움을..

10장에서는 인공 신경망 소개와 첫 번째 심층 신경망을 훈련했습니다(몇 개의 은닉층만으로 이루어진 얕은 네트워크)고해상도 이미지에서 수백 종류의 물체를 감지하는 것처럼 복잡한 문제를 다뤄야 한다면 어떻게 해야할까?[훈련 중 마주칠 수 있는 문제들]    ● 까다로운 그레디언트 소실 or 그레디언트 폭주 문제에 직면 가능        - 두 현상 모두 하위층을 훈련하기 어렵게 함    ● 대규모 신경망을 위한 훈련 데이터가 충분하지 않거나 레이블을 만드는 작업에 비용이 많이 들 수 있음    ● 훈련이 극단적으로 느려질 수 있음    ● 수백만 개의 파라미터를 가진 모델은 훈련 세트에 과대적합될 위험이 高       (특히, 훈련 샘플 부족이나 잡음이 많은 경우 심함)아래의 목차와 같이 이와 관련한 내용을..