티스토리

삽쟁이
검색하기

블로그 홈

삽쟁이

sap2.tistory.com/m

삽쟁이 님의 블로그입니다.

구독자
0
방명록 방문하기

주요 글 목록

  • [Python] Taling.me Crawling 시작하기 첫시도 Taling(https://taling.me)을 접속하면 놀랍게도 등록된 클래스들을 전체적으로 조회 할 수 있는 메뉴가 존재 하지 않았다. 그래도 희망을 가지고 해당 사이트를 분석을 해보았다. 먼저 메인 페이지에 접속해서 해당 네모칸에 검색어를 넣으면 검색된 강의들이 나오는데... [https://taling.me/Home/Search/?query=노래] >> 해당 Url로 페이지가 조회된다. 이때, [query=] 해당 쿼리뒤에 아무 문자도 적지 않으면 전체 강의가 조회된다는 것을 발견했다!!!! 역시 인생은 잔머리! 더 분석을 해본 결과 Class101때와는 다르게 하단으로 스크롤링 할때마다 강좌가 더 조회되는 것이 아니라, 하단의 페이지 넘버가 존재한다. 한 페이지에 15개의 강좌가.. 공감수 0 댓글수 0 2021. 5. 18.
  • [Python] Class101 Crawling 시작하기 Class101의 경우, 로그인 후 "https://class101.net/search?state=sales&types=klass" 접속 시, 현재 시점으로 바로 수강 가능한 강의 목록을 가져 올 수 있다. 하지만 바로 모든 강의가 조회되는 것이 아닌 스크롤링을 아래로 향할때 마다 일정 갯수 만큼 받아 오도록 화면이 구성되어 있다. 따라서, 모든 데이터를 크롤링 하기 위해선 반복적으로 하단 스크롤링을 한 후, 모든 데이터가 조회가 된 후 크롤링 작업을 시작해야 한다. 개발환경 MAC OS Big Sur 11.2.3 Python3 Chrome 버전 90.0.4430.93(공식 빌드) (x86_64) Chrome Driver 90.0.44 개발준비 사용한 패키지 및 도구 selenium, Beaut.. 공감수 0 댓글수 0 2021. 5. 18.
  • [Python] Instagram Crawling 시작하기 Instagram의 경우, 로그인 후 "https://www.instagram.com/explore/tags/[태그문자]" 접속 시, 해당 [태그문자]로 올라온 게시물들을 확인 할 수 있다. 따라서 특정태그문자에 올라온 다양한 게시물들의 정보를 확보하여 다른 태그문자들과의 연관성 및 해당 게시물들의 이미지를 확보 할 수 있다. 개발환경 MAC OS Big Sur 11.2.3 Python3 Chrome 버전 90.0.4430.93(공식 빌드) (x86_64) Chrome Driver 90.0.44 개발준비 사용한 패키지 및 도구 selenium, BeautifulSoup, pandas pip3 install selenium pip3 install BeautifulSoup pip3 install p.. 공감수 0 댓글수 0 2021. 5. 13.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.