삽쟁이

from selenium import webdriver
import time
import re
from bs4 import BeautifulSoup
import pandas as pd

# 목표 - class 101에 등록된 모든 강의들의 정보(클래스 명, 카테고리, like, 가격, 정보 등)
# http://class101.net/search?state=sales&types=klass 접속 시, 전체 강의목록을 조회할 수 있다.
# 하지만 스크롤링이 하단에 갈때마다 특정 갯수 만큼 다시 조회를 하는 형식이라서 전체 강의가 완전하게 조회 될때까지 계속해서 하단으로 스크롤링을 해야함
# 따라서 현재 화면의 강의수와 스클롤링 후 화면에 보이는 강의 수가 같아 질떄까지 계속해서 [스크롤링 > 강의 갯수 조회 ] 해당로직을 무한 반복한다.

# 스크롤링 하는 소스 코드
from selenium.webdriver.common.keys import Keys
# bg = driver.find_element_by_css_selector('body')
# bg.send_keys(Keys.SPACE)


import datetime
    
def doScrollDown(driver):
	start = datetime.datetime.now()
	end = start + datetime.timedelta(seconds=10)
	while True:
		driver.execute_script('window.scrollTo(0, document.body.scrollHeight);')
		time.sleep(1)
		if datetime.datetime.now() > end:
			break


# 현재까지 조회된 class 갯수를 가져 온다.
def getCurrentClassNum(driver) :
	html = driver.page_source
	soup = BeautifulSoup(html, 'lxml')
	return len(soup.select('div.sc-citwmv > ul li'))

#classList[0].select('strong.SellingPrice-yffb6l-0')[0].text  '월 25,740원' main price
#classList[0].select('span.InstallmentText-v6zzig-0')[0].text  ' (5개월)' main date
#classList[0].select('div.CardTags-sc-1fo9d2v-0')[0].text '온라인쇼핑몰・신사임당' categori and 강사명
#classList[0].select('div.sc-dOSReg')[0].text '[🏆BEST특가] 스마트스토어로 월 100만원 만들기, 평범한 사람이 돈을 만드는 비법'  MainTitle
#classList[0].select('div.CountTag__Container-rjlblo-0')[0].text '39225' 하트그림 옆에 있는 숫자
#classList[0].select('div.CountTag__Container-rjlblo-0')[1].text  '98%'  따봉 수
#classList[0].select('span.OriginalPrice-fb3m0l-0')[0].text '199,000원'  original price
#classList[0].select('span.DiscountPercent-sc-1phvwfl-0')[0].text  '35% '  discount rate
def makeClassData(driver) :
	html = driver.page_source
	soup = BeautifulSoup(html, 'lxml')
	classList = soup.select('div.sc-citwmv > ul li')
	numOfClass = len(classList)
	classData = ' '
	data = []
	for i in range(numOfClass) :
		classData = classList[i]
		try:
			categoriAndLecturer = classData.select('div.CardTags-sc-1fo9d2v-0')[0].text #'온라인쇼핑몰・신사임당' categori and 강사명
			categori = categoriAndLecturer.split('・')[0]
			lecturer = categoriAndLecturer.split('・')[1]
		except:
			categori = ''
			lecturer = ''
		
		try:
			mainTitle = classData.select('div.sc-dOSReg')[0].text #'[🏆BEST특가] 스마트스토어로 월 100만원 만들기, 평범한 사람이 돈을 만드는 비법'  MainTitle
		except:
			mainTitle = ''

		try:
			mainPrice = classData.select('strong.SellingPrice-yffb6l-0')[0].text # '월 25,740원' main price
		except:
			mainPrice = ''

		try:
			period = classData.select('span.InstallmentText-v6zzig-0')[0].text # ' (5개월)' main date
		except:
			period = ''

		try:
			attention = classData.select('div.CountTag__Container-rjlblo-0')[0].text # '39225' 하트그림 옆에 있는 숫자
		except:
			attention = ''

		try:
			satisfaction = classData.select('div.CountTag__Container-rjlblo-0')[1].text # '98%'  따봉 수
		except:
			satisfaction = ''

		try:	
			originalPrice = classData.select('span.OriginalPrice-fb3m0l-0')[0].text #'199,000원'  original price
		except:
			originalPrice = ''
		
		try:
			discountRate = classData.select('span.DiscountPercent-sc-1phvwfl-0')[0].text # '35% '  discount rate
		except:
			discountRate = ''
		data.append([categori, lecturer, mainTitle, mainPrice, period, attention, satisfaction, originalPrice, discountRate])
	return data


#스크롤링 3번하자`
def scrollDown(bg) : 
	bg.send_keys(Keys.SPACE)
	bg.send_keys(Keys.SPACE)
	bg.send_keys(Keys.SPACE)
	bg.send_keys(Keys.SPACE)
	bg.send_keys(Keys.SPACE)
	bg.send_keys(Keys.SPACE)

#https://class101.net/search?state=sales&types=klass
# 전체 수강 강좌 조회 사이트 열기.
driver = webdriver.Chrome("./chromedriver")
driver.get('http://class101.net/search?state=sales&types=klass')
bg = driver.find_element_by_css_selector('body')

# 현재 화면 html 정보 가져오기
#html = driver.page_source
#soup = BeautifulSoup(html, 'lxml')
# 강좌 정보 list 가져 오는 값
# soup.select('div.sc-citwmv > ul li')

currentNum = getCurrentClassNum(driver)
afterNum = 0
while(1) :
	doScrollDown(driver)
	afterNum = getCurrentClassNum(driver)
	if currentNum == afterNum :
		break
	else :
		currentNum =afterNum
		print(currentNum)

result = makeClassData(driver)
result = pd.DataFrame(result)
result.to_csv('/Users/kimyoungho/python/class.csv', index=False, encoding="utf-8-sig")
print(result)