코딩에서 살아남기

Final Project Agile 1차가 끝이나고 관리자 입장에서 오류, 비용, 관리를 위한 Slack Chatbot 기능을 배웠습니다. 우선 Slack 설치와 가입 및 워크스페이스 생성을 완료했다는 가정하에 다음 단계부터 진행하겠습니다. ○ Slack API 링크로 접속해서 Create New App을 눌러서 새로운 App 생성 ○ From scratch 클릭 ○ App Name 입력과 & Slack workspace 선택 후 Create App 클릭 ○ ChatBot 생성을 위해서는 3개의 Value가 필요    ● Signing Secret    ● Slack Bot Token    ● Slack App Token ○ 아래 Signing Secret 키를 show 하고 복사하여 저장해두기 ○ OA..

SK networks AI Camp에서 파이널 프로젝트를 2024.11.07 ~ 2025.01.02까지 진행합니다. 1차 에자일 발표를 마친 후 지금까지 진행했던 내용을 정리해보고자 합니다. 저희 팀에서 만들고자 하는 프로젝트는 "LLM을 활용한 대화형 문화 콘텐츠 추천 서비스"입니다. 주제는 전시회, 뮤지컬 투 트랙으로 진행했습니다. 1) OCR, LLM, RAG를 활용한 대화형 문화 콘텐츠(전시회) 추천2) LLM, DeepFM 모델을 활용한 좋아하는 배우 기반 원하는 장르 뮤지컬 추천 저는 2번 주제인 뮤지컬 추천 팀에서 진행하게 되었습니다. 이전에 블로그 포스팅 했던 공부 내용을 기반으로 Modeling, 데이터 전처리, streamlit 구현, Model 평가 및 개선 역할을 담당했습니다. 팀원..

github 링크4번째 미니 프로젝트 주제는 "LLM을 연동한 내외부 문서 기반 질의응답 시스템"였습니다.대학원에 가야겠다고 결심하고 난 뒤로 제대로 듣지 않았던 LLM 부분에 대해서 하려니 힘들더라고요...진짜 들으라고 하지 않았으면 하나도 모르고 eng? 아 몰랑~ 해죠! 하고 못했을 것 같습니다.[사실 gpt한테 해줘를 하루정도 시현했습니다] 저희 조는 "운전면허 필기시험 준비생들을 위한 LAG 기술을 활용한 챗봇"을 진행하고자 했고처음에 생각한 주요 기능은 아래와 같습니다.    ● LAG 연동: 운전면허 필기 교재 및 이론 문서 분석     ● 실시간 답변: 사용자 질문에 정확하고 신속한 응답 제공     ● 모의시험 기능: 실제 시험과 유사한 문제 제공저는 아래를 해보았습니다. gpt에 도움을..

이번 주에 Mini project 발표와 Machine Learning, 데이터 전처리를 위한 Pandas와 Numpy 를 사용하는 수업을 하였습니다.[8월 3주차 배운 내용]2024.08.20 - [Networks/데이터 분석 및 AI] - SK networks AI Camp - Numpy 기초 SK networks AI Camp - Numpy 기초Numpy: C언어로 구현된 Python 라이브러리, 벡터 및 행렬 연산에 있어 매우 편리한 기능을 제고○ numpy.ndarray    ● ndarray.ndim : Array 요소의 총 개수(= shape 요소의 곱)    ● ndarray.shape : Array 크기를 나joowon582.tistory.com2024.08.20 - [Networks/데..

머신 러닝 시스템 워크플로우: 데이터 수집 → 점검 및 탐색 →  전처리 및 정제 →  모델링 및 훈련 →  평가 →  배포  ○ 수집 : 머신러닝 학습에 필요한 데이터 수집 ○ 점검 및 탐색 : 수집된 데이터의 구조, 노이즈 등 파악                          (= 탐색적 데이터 분석(EDA; Exploratory Data Analysis) 단계)○ 전처리 및 정제: 머신러닝 학습에 알맞게 데이터 정제 및 전처리○ 모델링 및 훈련 : 머신러닝 알고리즘을 선택 및 전처리가 완료된 데이터를 이용하여 머신러닝 학습○ 평가 : 테스트 데이터를 통해 모델 학습 평가, 평가가 좋지 않으면, 다시 머신러닝 학습을 진행○ 배포 : 성공적으로 훈련이 된 것으로 판단 → 완성된 모델을 서비스에 적용하기..

EDA(Exploratory Data Analysis) : 탐색적 데이터 분석데이터를 분석하고 결과를 도출하는 과정에 있어 지속적으로 해당 데이터에 대한 탐색, 이해를 가져야 함 ○ 분석 방법    ● 상관계수(피어슨 상관계수) : 두 변수 x, y 사이의 상관관계 정도를 나타내는 수치        - (-1)        - |r|의 크기 = 직선 관계에 가까운 정도       - r의 부호 = 관계의 방향       - r이 0에 가까울수록 상관관계가 없다       - 단위 X       - 큰 상관계수 값이 항상 두 변수 사이의 인과관계를 의미하지는 않음 why? 여러 잠재변수 존재 가능     ● 왜도(Skewness) : 데이터 분포의 비대칭도를 나타내는 통계량       - DataFrame..

Pandas: 데이터 처리와 분석을 위한 라이브러리* 수많은 개발자들이 numpy의 alias는 np, pandas의 alias는 pd로 해줍니다.import numpy as npimport pandas as pd 데이터 구조○ Series : 1차원 구조로 되어 있는 데이터(벡터)pd.Series(data=None, index=None, dtype=None, name=None, copy=False)    ● Series 생성 : 스칼라 값인 경우에는 인덱스를 제공해야 한다.data = {'a':1, 'b':2, 'c':3} # 딕셔너리pd.Series(data=data, dtype=np.int16, name='dict')# 스칼라 값인 경우 인덱스를 제공해야 함pd.Series(5.0, index=['..

기본 연산○ 행렬 연산    ● add(I, J), subtract(I, J), multiply(I, J), divide(I, J) : 각각 I+J, I-J, I*J, I/J 와 같은 결과import numpy as np data = np.array([1,2])ones = np.ones(2, dtype=int) # 2차원의 요소가 1인 행렬 생성data + ones, np.add(data, ones) # 두 개 같은 결과data - ones, np.subtract(data,ones) # 뺄셈 연산data * data, np.multiply(data, data) # 곱셈 연산data / data, np.divide(data, data) # 나눗셈 연산     ● 변수명.sum(), 변수명.size : 각..

Numpy: C언어로 구현된 Python 라이브러리, 벡터 및 행렬 연산에 있어 매우 편리한 기능을 제고○ numpy.ndarray    ● ndarray.ndim : Array 요소의 총 개수(= shape 요소의 곱)    ● ndarray.shape : Array 크기를 나타내는 정수 튜플(행/열수)    ● ndarray.size : Array 차원    ● ndarray.dtype : Array 요소 데이터 타입○ Numpy array vs Python list    ● array : 모든 요소가 동질적이어야 함, list보다 빠르고 메모리를 적게 사용(코드 최적화 가능)    ● list : 단일 목록 내에 다양한 데이터 유형 포함 가능 ○ Numpy install# CONDAconda ins..

이전에 진행했던 코드에서 챔피언에 관한 정보가 들어 있지 않고 단순히 챔피언 레벨만 입력이 되어 있었습니다.img의 alt값으로 챔피언 정보가 들어 있다는 것을 알게 되었고 alt값을 뽑아오도록 코드를 작성하였습니다. 2024.08.10 - [Networks/Project] - SK networks AI Camp - Toy Project 크롤링 코드 리뷰 SK networks AI Camp - Toy Project 크롤링 코드 리뷰현재 코드를 짜서 화면에 구현하는 것까지 완료하였습니다. 코드를 리뷰하면서 지금까지 진행한 걸 다시 적어보면서 코드를 다시 한번 공부해 보는 시간을 가지겠습니다.(* 크롤링하다가 오류joowon582.tistory.com 이전에 진행했던 코드가 모듈화가 되어있었기에 뽑아오는 데..