SK networks AI Camp - 3주차 회고록

7/22(월)부터 7/26(금)까지 3주 차의 교육이 끝났습니다.

벌써 3주 차라니 시간이 정말 빠른 것 같네요.

그러다가도 HRD를 보면 10%라고 되어있는 것을 보니 마음이 아파요.

이 또한 지나가겠죠?

아래의 링크가 지난주 학습 내용입니다.

Crawling, Selenium, CSS, Streamlit, mini_project 등 다양한 활동을 수행했습니다.

3주차 회고록을 작성해 보겠습니다.(이번 회고록은 매니저님이 알려주신 TIL 방식을 적용하여 잘 써보겠습니다.)

2024.07.22 - [컴퓨터 공학/Networks] - SK networks AI Camp - Crawling

SK networks AI Camp - Crawling

2024.07.23 - [컴퓨터 공학/Networks] - SK networks AI Camp - Crawling_Selenium

SK networks AI Camp - Crawling_Selenium

2024.07.23 - [컴퓨터 공학/Networks] - SK networks AI Camp - Web_streamlit

SK networks AI Camp - Web_streamlit

2024.07.24 - [컴퓨터 공학/Networks] - SK networks AI Camp - mini project

SK networks AI Camp - mini project

<성취>

1. Crawling에 대해 배우면서 정적 페이지와 동적 페이지에 사용하는 모듈이 다르다.

2. Streamlit을 통하여 파이썬으로 웹페이지를 빠르게 생성할 수 있다.

3. mini project를 통하여 지금까지 배운 내용을 직접 사용해 보면서 에러와 문제들을 마주쳐보았다.

  - 에러 : 잘못된 값을 받아옴 에러가 뜸, DataBase를 생성하지 않은 상태에서 DB와 연결하여 데이터 베이스 이름을 찾을 수 없다는 에러 등 

<개선>

1. 미니 프로젝트를 진행하는 동안 3명에서 크롤링을 하는 코드를 각각 작성하였는데 이것을 나중에 모듈화 하려니 힘들었음.

2. 일부러 정적 페이지만 한 건 아니지만 동적페이지를 크롤링하지 않아 Selenium을 사용하지 않았던 점

 

 ○ 1, 2번 문항에 대한 해결책 : 사이트들이 달라서 모듈화할 때 코드가 길어졌음. 현재 크롤링할 사이트를 알고 있다는 가정하에 사이트를 검색해서 접속하는 방법을 사용하여 코드가 길어지는 것을 해결할 수 있지 않을까?

     ● 검색 → 사이트 접속 → url 넘겨주기

     ● url을 받고 처리하기 → 전처리

     ● 이후 동일

3. 크롤링을 하면서 가끔 데이터를 다 받아오지 않는 경우가 있었음

 ○ 이 경우 데이터에 대한 제약조건을 너무 복잡한 로직으로 길게 하다 보니 누락된 것으로 보임

 ○ 단순한 로직으로 작성할 수 있는 것을 길고 복잡하게 작성하여 내가 작성했지만 다시 보면 이해가 안 되는 부분이 있었음

 ○ 데이터 구조와 내가 하고 싶은 결과의 디자인을 잘 작성하여 단순하지만 잘 짜인 코드를 작성해야 할 것 

<학습>

1. 정적 크롤링의 경우 우리가 진행하였던 방법으로 진행하여도 괜찮지만, 다른 팀들의 코드를 보니 동적의 경우 여러 상황을 고려해야 했다. 하나하나 눌러서 데이터를 받아와야 하는 어려움. 다음번에는 동적 페이지 크롤링을 해보아야 할 것

2. 우리 팀이 API를 받아와서 데이터를 저장하지 않고 바로 변수에 저장하는 코드를 작성하였음. 현직에서 사용한다면 데이터를 저장해 놓는 것이 중요하다고 듣고 다음 번에 사용할 일이 있다면 데이터를 저장하는 습관을 들일 것

3. 코드 디자인과 흐름을 잘 파악한 후 코드를 작성할 것

4. 내가 담당하였던 부분은 DB연결, Crawling과 3가지 회사의 크롤링 코드를 종합하여 모듈화 하는 역할을 수행함. 

    사용해  볼 수 있다면 selenium을 통해 정적 페이지 크롤링과 streamlit, API 사용해 보아야겠다.