삽쟁이

# 목표 - 탈잉에 등록된 모든 강의들의 정보(클래스 명, 카테고리, like, 가격, 정보 등)
# https://taling.me/Home/Search/?query= 접속 시, 전체 강의목록을 조회할 수 있다.
# 한 화면에 15개의 강의가 나오게 되고, 하단 다음 페이지 번호를 눌러서 15개씩 조회가 가능하다.
# 따라서 현재 화면의 15강의씩 가장 마지막 페이지 번호까지 넘어가면서 저장을 해야함.
# 단순 화면의 강의 데이터로는 카테고리 분류가 불가능한 상황임 > 상단 메뉴를 옮겨 가면서 카테고리 데이터를 가져와야함.
from selenium import webdriver
import time
import re
from bs4 import BeautifulSoup
import pandas as pd
from selenium.webdriver.common.action_chains import ActionChains


#####상수#####
#뷰티/헬스	 	- sub1 , #cate2
#액티비티		- sub2 , #cate3
#라이프		    - sub3 , #cate4
#취미/공예	 	- sub4 , #cate5
#머니 			- sub5 , #cate6ㅣ,ㅣㅏ,,ㅏㅣㅡㅓㅏ mkkkkkkk
#커리어	 		- sub6 , #cate7
#디자인/영상	 - sub7 , #cate8
#외국어 		- sub8 , #cate9
# 하위 메뉴 선택시 sub로 시작하는 숫자 시작과 #cate 숫자 시작값이 달라서 이를 보정하기 위한 상수
MATCH_FOR_CATE_AND_SUB_NUMBER = 1
TEMP_SAVE_POINT = 100


# 전체 수강 강좌 조회 사이트 열기.
driver = webdriver.Chrome("./chromedriver")
driver.get('https://taling.me/Home/Search/?query=')
time.sleep(3)

pageNumber = [0,1,2,3,4,5,6,7,8,9,10,11,12]
goNextCss = '#container > div.main3_cont > div.page > a:nth-child'
moveCategoriQuery = '//*[@id="sub@subNumber"]/div/li[@childNumber]/a'
#'#sub@subNumber > div > li:nth-child(@childNumber) > a'
# str.replace('@subNumber', '8')
# str.replace('@childNumber', '1')

result = [ ]
subList = []
cateList = []

currentSubName = ''
currentSubCate = ''


######################## 전체 메뉴 및 메뉴 이동 관련 로직 ###########################

#메뉴 클릭 로직 정리
# action = ActionChains(driver)
# driver.find_element_by_css_selector('#cate2').click() # 큰 메뉴 클릭 한 후
# action.move_to_element(driver.find_element_by_css_selector('#cate2')).perform() # 마우스 올리고 
# driver.find_element_by_css_selector('#sub1 > div > li:nth-child(4) > a').click() # 소메뉴 클릭

#전체 메뉴 리스트 (큰 subList) 가져오기
def getSubMenuList():
	html = driver.page_source
	soup = BeautifulSoup(html, 'lxml')
	_subList = soup.select('li.cate > a > div')
	numOfSub = len(_subList)
	for i in range(numOfSub):
		subList.append(_subList[i].text.strip())
	print(subList)

def setcurrentSubName(idx):
	currentSubCate = subList[idx]


# 전체 소메뉴? 카테고리 조회
def getCategori():
	html = driver.page_source
	soup = BeautifulSoup(html, 'lxml')
	sublen = len(subList)
	for i in range(sublen) :
		cate = soup.select('#sub' + str(i) + ' > div > li')
		catelen = len(cate)
		for j in range(catelen):
			cateList.append(cate[j].text)
	print(cateList)

#소메뉴 갯수 가져오기
def getLenCategoriInSub(subIdx):
	html = driver.page_source
	soup = BeautifulSoup(html, 'lxml')
	cate = soup.select('#sub' + str(subIdx) + ' > div > li')
	return len(cate)


#대메뉴 이동
def clickSubMenu(idx):
	global currentSubName
	try:
		driver.find_element_by_css_selector('#cate'+ str(idx + MATCH_FOR_CATE_AND_SUB_NUMBER)).click() # 큰 메뉴 클릭 한 후
	except:
		saveFile()
	time.sleep(0.5)
	####메뉴위로 마우스 이동 하기
	action = ActionChains(driver)
	action.move_to_element(driver.find_element_by_css_selector('#cate' + str(idx + MATCH_FOR_CATE_AND_SUB_NUMBER))).perform() # 마우스 올리기
	currentSubName = driver.find_element_by_css_selector('#cate'+ str(idx + MATCH_FOR_CATE_AND_SUB_NUMBER)).text
	print('**************************************  currentSubName>>>>>>>  ' + currentSubName)
	time.sleep(0.5)

#소메뉴 이동
def clickCate(subNum, cateNum):
	global currentSubCate
	base = moveCategoriQuery
	base = base.replace('@subNumber', str(subNum))
	base = base.replace('@childNumber', str(cateNum))
	print('Move Cate Query>>>>>>>>>>>>>   ' + base)
	try:
		currentSubCate = driver.find_element_by_xpath(base).text
		print('currentSubCate >>>>>>  '+ currentSubCate)
	except:
		saveFile()
	
	try:
		driver.find_element_by_xpath(base).click()
	except:
		saveFile()

	time.sleep(0.5)

def saveFile():
	global result
	_result = pd.DataFrame(result)
	_result.to_csv('/Users/kimyoungho/python/taling.csv', index=False, encoding="utf-8-sig")



################################################데이터 수집 소스 코드 #############################################

#아래 3개는 존재할 수도 없을 수도 있으니 예외처리 필수임.
# soup.select('div.cont2 > div')[0].select('div.day')[0].text  '1DAY수업'
# soup.select('div.cont2 > div')[0].select('div.d_day')[0].text.strip()    'D-50'
# soup.select('div.cont2 > div')[0].select('div.soldoutbox')[0].text.strip() 'SOLDOUT'
# soup.select('div.cont2 > div')[0].select('div.sale')[0].text	'50%할인'
# soup.select('div.cont2 > div')[0].select('span.reward_badge')[0].text   '30일 무료코칭'  , 리뷰 100건
# soup.select('div.cont2 > div')[0].select('div.title')[0].text.strip()   '[재무설계/저축/재테크/투자/주식] 미래설계를 위해 "돈"을 알려드립니다'
# soup.select('div.cont2 > div')[0].select('div.name')[0].text  '나종길'   이름
# soup.select('div.cont2 > div')[0].select('div.nick')[0].text    '미래설계사'  닉네임


####가격 데이터
#  soup.select('div.cont2 > div')[0].select('div.price1')[0].text.strip()   '\n￦11,000\n'
#  soup.select('div.cont2 > div')[0].select('div.price2')[0].text.strip()   '\n￦5,500\n'
#  soup.select('div.cont2 > div')[0].select('div.price > div.sale')[0].text.strip()   '50%'
#   soup.select('div.cont2 > div')[0].select('span.hour_unit')[0].text  '/시간'

#########평점 평가수 지역
#  soup.select('div.cont2 > div')[0].select('div.info2 > div.star')[0].text.strip()  '★★★★★'
#  soup.select('div.cont2 > div')[0].select('div.info2 > div.review')[0].text.strip()   '(26)'
# soup.select('div.cont2 > div')[0].select('div.info2 > div.location')[0].text.strip()   '온라인 Live'



# 현제 화면에 15개의 강의데이터 뽑는 쿼리.
#soup.select('div.cont2 > div')
def setClassList(driver, result) :
	global currentSubCate
	global currentSubName
	html = driver.page_source
	soup = BeautifulSoup(html, 'lxml')
	classList = soup.select('div.cont2 > div')
	numOfClass = len(classList)

	classPeriod = ''
	classDday = ''
	classSale = ''
	classReward = ''
	classSoldout = ''
	classTitle = ''
	lectureName = ''
	lectureNick = ''

	originPrice =''
	salePrice =''
	saleRate = ''
	classunit = ''

	classStar = ''
	classReview = ''
	classLocation = ''

	for i in  range(numOfClass) :
		try:
			classPeriod = classList[i].select('div.day')[0].text
		except:
			classPeriod = ''
		
		try:
			classDday = classList[i].select('div.d_day')[0].text.strip()
		except:
			classDday = ''
		
		try:
			classSoldout = classList[i].select('div.soldoutbox')[0].text.strip()
		except:
			classSoldout = ''
		
		try:
			classSale = classList[i].select('div.sale')[0].text
		except:
			classSale = ''

		try:
			classReward = classList[i].select('span.reward_badge')[0].text
		except:
			classReward = ''

		try:
			classTitle = classList[i].select('div.title')[0].text.strip() 
		except:
			classTitle = ''
		
		try:
			lectureName = classList[i].select('div.name')[0].text
		except:
			lectureName = ''

		try:
			lectureNick = classList[i].select('div.nick')[0].text
		except:
			lectureNick = ''

		try:
			originPrice = classList[i].select('div.price1')[0].text.strip()
		except:
			originPrice = ''

		try:
			salePrice = classList[i].select('div.price2')[0].text.strip()
		except:
			salePrice = ''

		try:
			saleRate = classList[i].select('div.price > div.sale')[0].text.strip()
		except:
			saleRate = ''

		try:
			classunit = classList[i].select('span.hour_unit')[0].text
		except:
			classunit = ''

		try:
			classStar = classList[i].select('div.info2 > div.star')[0].text.strip()
		except:
			classStar = ''

		try:
			classReview = classList[i].select('div.info2 > div.review')[0].text.strip()
		except:
			classReview = ''

		try:
			classLocation = classList[i].select('div.info2 > div.location')[0].text.strip()
		except:
			classLocation = ''
		result.append([currentSubCate, currentSubName, classTitle, lectureName, lectureNick, classPeriod, classDday, classSale, classReward, originPrice, salePrice, saleRate, classunit, classStar,classReview, classLocation, classSoldout])
		
		# result.append(classList[i])
	print(len(result))
	global TEMP_SAVE_POINT
	if len(result) > TEMP_SAVE_POINT:
		print('temp save >>>>>>>>>>>>')
		saveFile()
		TEMP_SAVE_POINT = TEMP_SAVE_POINT + 1000


# 하단에 화면 번호를 클릭하는 쿼리
# 첫화면은  a:nth-child(2) 의 번호가 2 > 3 > 4 .... > 10 > 11(11은 다음으로)
# 그 다음부터는 "이전 버튼이 활성화 되어서" 3 > 4 > 5 > 6 ... > 11 > 12 (12는 다음으로)
# 위와 같은 형식으로 조회가 돠어야 함.
# 다음 조회목록으로 이동하기 위해 클릭하는 로직.
# driver.find_element_by_css_selector('#container > div.main3_cont > div.page > a:nth-child(2)').click()
def nextList(idx,driver):
	try:
		nextButton = driver.find_element_by_css_selector(goNextCss + '(' + str(pageNumber[idx]) + ')')
	except:
		return True
	nextButton.click()
	time.sleep(2)
	return False

def getBottomPageNum() :
	html = driver.page_source
	soup = BeautifulSoup(html, 'lxml')
	return len(soup.select('div.page > a'))

def startCrawling():
	pageNum = getBottomPageNum()
	if pageNum < 11 :
		for i in range(2, 2 + pageNum): 
			setClassList(driver, result)
			nextList(i,driver)
	else :
		#첫페이지만 따로 10번 돌린다... 인덱스가 달라서
		#TODO 처음 페이지 수가 
		for i in range(2, 12): 
			setClassList(driver, result)
			nextList(i,driver)
		goNextCssNumber = 3
		while(1):
			setClassList(driver, result)
			if(nextList(goNextCssNumber,driver)) :
				break
			else :
				goNextCssNumber = goNextCssNumber + 1
				if(goNextCssNumber > 12) :
					goNextCssNumber = 3	

	print("Crawling Complete....")
	# time.sleep(2)



##################################### Main Code ##################################################


getSubMenuList()
getCategori()
numOfSumList = len(subList)
for subMenuNum in range(1, numOfSumList):
	print('NumOf MENU>>>>>>>>>>' + str(subMenuNum))
	cateLen = getLenCategoriInSub(subMenuNum)
	clickSubMenu(subMenuNum)
	for cate in range(1, 1 + cateLen):
		clickCate(subMenuNum, cate)
		startCrawling()
saveFile()

from selenium import webdriver
import time
import re
from bs4 import BeautifulSoup
import pandas as pd

# 목표 - class 101에 등록된 모든 강의들의 정보(클래스 명, 카테고리, like, 가격, 정보 등)
# http://class101.net/search?state=sales&types=klass 접속 시, 전체 강의목록을 조회할 수 있다.
# 하지만 스크롤링이 하단에 갈때마다 특정 갯수 만큼 다시 조회를 하는 형식이라서 전체 강의가 완전하게 조회 될때까지 계속해서 하단으로 스크롤링을 해야함
# 따라서 현재 화면의 강의수와 스클롤링 후 화면에 보이는 강의 수가 같아 질떄까지 계속해서 [스크롤링 > 강의 갯수 조회 ] 해당로직을 무한 반복한다.

# 스크롤링 하는 소스 코드
from selenium.webdriver.common.keys import Keys
# bg = driver.find_element_by_css_selector('body')
# bg.send_keys(Keys.SPACE)


import datetime
    
def doScrollDown(driver):
	start = datetime.datetime.now()
	end = start + datetime.timedelta(seconds=10)
	while True:
		driver.execute_script('window.scrollTo(0, document.body.scrollHeight);')
		time.sleep(1)
		if datetime.datetime.now() > end:
			break


# 현재까지 조회된 class 갯수를 가져 온다.
def getCurrentClassNum(driver) :
	html = driver.page_source
	soup = BeautifulSoup(html, 'lxml')
	return len(soup.select('div.sc-citwmv > ul li'))

#classList[0].select('strong.SellingPrice-yffb6l-0')[0].text  '월 25,740원' main price
#classList[0].select('span.InstallmentText-v6zzig-0')[0].text  ' (5개월)' main date
#classList[0].select('div.CardTags-sc-1fo9d2v-0')[0].text '온라인쇼핑몰・신사임당' categori and 강사명
#classList[0].select('div.sc-dOSReg')[0].text '[🏆BEST특가] 스마트스토어로 월 100만원 만들기, 평범한 사람이 돈을 만드는 비법'  MainTitle
#classList[0].select('div.CountTag__Container-rjlblo-0')[0].text '39225' 하트그림 옆에 있는 숫자
#classList[0].select('div.CountTag__Container-rjlblo-0')[1].text  '98%'  따봉 수
#classList[0].select('span.OriginalPrice-fb3m0l-0')[0].text '199,000원'  original price
#classList[0].select('span.DiscountPercent-sc-1phvwfl-0')[0].text  '35% '  discount rate
def makeClassData(driver) :
	html = driver.page_source
	soup = BeautifulSoup(html, 'lxml')
	classList = soup.select('div.sc-citwmv > ul li')
	numOfClass = len(classList)
	classData = ' '
	data = []
	for i in range(numOfClass) :
		classData = classList[i]
		try:
			categoriAndLecturer = classData.select('div.CardTags-sc-1fo9d2v-0')[0].text #'온라인쇼핑몰・신사임당' categori and 강사명
			categori = categoriAndLecturer.split('・')[0]
			lecturer = categoriAndLecturer.split('・')[1]
		except:
			categori = ''
			lecturer = ''
		
		try:
			mainTitle = classData.select('div.sc-dOSReg')[0].text #'[🏆BEST특가] 스마트스토어로 월 100만원 만들기, 평범한 사람이 돈을 만드는 비법'  MainTitle
		except:
			mainTitle = ''

		try:
			mainPrice = classData.select('strong.SellingPrice-yffb6l-0')[0].text # '월 25,740원' main price
		except:
			mainPrice = ''

		try:
			period = classData.select('span.InstallmentText-v6zzig-0')[0].text # ' (5개월)' main date
		except:
			period = ''

		try:
			attention = classData.select('div.CountTag__Container-rjlblo-0')[0].text # '39225' 하트그림 옆에 있는 숫자
		except:
			attention = ''

		try:
			satisfaction = classData.select('div.CountTag__Container-rjlblo-0')[1].text # '98%'  따봉 수
		except:
			satisfaction = ''

		try:	
			originalPrice = classData.select('span.OriginalPrice-fb3m0l-0')[0].text #'199,000원'  original price
		except:
			originalPrice = ''
		
		try:
			discountRate = classData.select('span.DiscountPercent-sc-1phvwfl-0')[0].text # '35% '  discount rate
		except:
			discountRate = ''
		data.append([categori, lecturer, mainTitle, mainPrice, period, attention, satisfaction, originalPrice, discountRate])
	return data


#스크롤링 3번하자`
def scrollDown(bg) : 
	bg.send_keys(Keys.SPACE)
	bg.send_keys(Keys.SPACE)
	bg.send_keys(Keys.SPACE)
	bg.send_keys(Keys.SPACE)
	bg.send_keys(Keys.SPACE)
	bg.send_keys(Keys.SPACE)

#https://class101.net/search?state=sales&types=klass
# 전체 수강 강좌 조회 사이트 열기.
driver = webdriver.Chrome("./chromedriver")
driver.get('http://class101.net/search?state=sales&types=klass')
bg = driver.find_element_by_css_selector('body')

# 현재 화면 html 정보 가져오기
#html = driver.page_source
#soup = BeautifulSoup(html, 'lxml')
# 강좌 정보 list 가져 오는 값
# soup.select('div.sc-citwmv > ul li')

currentNum = getCurrentClassNum(driver)
afterNum = 0
while(1) :
	doScrollDown(driver)
	afterNum = getCurrentClassNum(driver)
	if currentNum == afterNum :
		break
	else :
		currentNum =afterNum
		print(currentNum)

result = makeClassData(driver)
result = pd.DataFrame(result)
result.to_csv('/Users/kimyoungho/python/class.csv', index=False, encoding="utf-8-sig")
print(result)