삽쟁이

from selenium import webdriver
import time
import re
from bs4 import BeautifulSoup
import pandas as pd

# 목표 - class 101에 등록된 모든 강의들의 정보(클래스 명, 카테고리, like, 가격, 정보 등)
# http://class101.net/search?state=sales&types=klass 접속 시, 전체 강의목록을 조회할 수 있다.
# 하지만 스크롤링이 하단에 갈때마다 특정 갯수 만큼 다시 조회를 하는 형식이라서 전체 강의가 완전하게 조회 될때까지 계속해서 하단으로 스크롤링을 해야함
# 따라서 현재 화면의 강의수와 스클롤링 후 화면에 보이는 강의 수가 같아 질떄까지 계속해서 [스크롤링 > 강의 갯수 조회 ] 해당로직을 무한 반복한다.

# 스크롤링 하는 소스 코드
from selenium.webdriver.common.keys import Keys
# bg = driver.find_element_by_css_selector('body')
# bg.send_keys(Keys.SPACE)


import datetime
    
def doScrollDown(driver):
	start = datetime.datetime.now()
	end = start + datetime.timedelta(seconds=10)
	while True:
		driver.execute_script('window.scrollTo(0, document.body.scrollHeight);')
		time.sleep(1)
		if datetime.datetime.now() > end:
			break


# 현재까지 조회된 class 갯수를 가져 온다.
def getCurrentClassNum(driver) :
	html = driver.page_source
	soup = BeautifulSoup(html, 'lxml')
	return len(soup.select('div.sc-citwmv > ul li'))

#classList[0].select('strong.SellingPrice-yffb6l-0')[0].text  '월 25,740원' main price
#classList[0].select('span.InstallmentText-v6zzig-0')[0].text  ' (5개월)' main date
#classList[0].select('div.CardTags-sc-1fo9d2v-0')[0].text '온라인쇼핑몰・신사임당' categori and 강사명
#classList[0].select('div.sc-dOSReg')[0].text '[🏆BEST특가] 스마트스토어로 월 100만원 만들기, 평범한 사람이 돈을 만드는 비법'  MainTitle
#classList[0].select('div.CountTag__Container-rjlblo-0')[0].text '39225' 하트그림 옆에 있는 숫자
#classList[0].select('div.CountTag__Container-rjlblo-0')[1].text  '98%'  따봉 수
#classList[0].select('span.OriginalPrice-fb3m0l-0')[0].text '199,000원'  original price
#classList[0].select('span.DiscountPercent-sc-1phvwfl-0')[0].text  '35% '  discount rate
def makeClassData(driver) :
	html = driver.page_source
	soup = BeautifulSoup(html, 'lxml')
	classList = soup.select('div.sc-citwmv > ul li')
	numOfClass = len(classList)
	classData = ' '
	data = []
	for i in range(numOfClass) :
		classData = classList[i]
		try:
			categoriAndLecturer = classData.select('div.CardTags-sc-1fo9d2v-0')[0].text #'온라인쇼핑몰・신사임당' categori and 강사명
			categori = categoriAndLecturer.split('・')[0]
			lecturer = categoriAndLecturer.split('・')[1]
		except:
			categori = ''
			lecturer = ''
		
		try:
			mainTitle = classData.select('div.sc-dOSReg')[0].text #'[🏆BEST특가] 스마트스토어로 월 100만원 만들기, 평범한 사람이 돈을 만드는 비법'  MainTitle
		except:
			mainTitle = ''

		try:
			mainPrice = classData.select('strong.SellingPrice-yffb6l-0')[0].text # '월 25,740원' main price
		except:
			mainPrice = ''

		try:
			period = classData.select('span.InstallmentText-v6zzig-0')[0].text # ' (5개월)' main date
		except:
			period = ''

		try:
			attention = classData.select('div.CountTag__Container-rjlblo-0')[0].text # '39225' 하트그림 옆에 있는 숫자
		except:
			attention = ''

		try:
			satisfaction = classData.select('div.CountTag__Container-rjlblo-0')[1].text # '98%'  따봉 수
		except:
			satisfaction = ''

		try:	
			originalPrice = classData.select('span.OriginalPrice-fb3m0l-0')[0].text #'199,000원'  original price
		except:
			originalPrice = ''
		
		try:
			discountRate = classData.select('span.DiscountPercent-sc-1phvwfl-0')[0].text # '35% '  discount rate
		except:
			discountRate = ''
		data.append([categori, lecturer, mainTitle, mainPrice, period, attention, satisfaction, originalPrice, discountRate])
	return data


#스크롤링 3번하자`
def scrollDown(bg) : 
	bg.send_keys(Keys.SPACE)
	bg.send_keys(Keys.SPACE)
	bg.send_keys(Keys.SPACE)
	bg.send_keys(Keys.SPACE)
	bg.send_keys(Keys.SPACE)
	bg.send_keys(Keys.SPACE)

#https://class101.net/search?state=sales&types=klass
# 전체 수강 강좌 조회 사이트 열기.
driver = webdriver.Chrome("./chromedriver")
driver.get('http://class101.net/search?state=sales&types=klass')
bg = driver.find_element_by_css_selector('body')

# 현재 화면 html 정보 가져오기
#html = driver.page_source
#soup = BeautifulSoup(html, 'lxml')
# 강좌 정보 list 가져 오는 값
# soup.select('div.sc-citwmv > ul li')

currentNum = getCurrentClassNum(driver)
afterNum = 0
while(1) :
	doScrollDown(driver)
	afterNum = getCurrentClassNum(driver)
	if currentNum == afterNum :
		break
	else :
		currentNum =afterNum
		print(currentNum)

result = makeClassData(driver)
result = pd.DataFrame(result)
result.to_csv('/Users/kimyoungho/python/class.csv', index=False, encoding="utf-8-sig")
print(result)

from selenium import webdriver
import time
import re
from bs4 import BeautifulSoup
import pandas as pd


def searching(word):
    url = 'https://www.instagram.com/explore/tags/'+word
    return url

driver = webdriver.Chrome("./chromedriver")

def click_first(driver):
    first = driver.find_element_by_css_selector('#react-root > section > main > article > div:nth-child(3) > div > div:nth-child(1) > div:nth-child(1) > a > div.eLAPa > div._9AhH0')
    first.click()
    time.sleep(3)

def next_page(driver):
    next_page = driver.find_element_by_css_selector('body > div._2dDPU.CkGkG > div.EfHg9 > div > div > a._65Bje.coreSpriteRightPaginationArrow')
    next_page.click()
    time.sleep(3)

def get_content(driver):

    # 1. 현재 게시글 html 정보 가져오기
    html = driver.page_source
    soup = BeautifulSoup(html, 'lxml')


    # 2. 본문 내용 가져오기
    # 본문 내용이 없을 수 있으므로 예외 처리구문을 이용
    try:
        content = soup.select('div.C4VMK > span')[0].text
    except:
        content = ''

    # 3. 작성 일시, 좋아요 수 , 위치 정보 가져오기
    # 해쉬 태그는 정규 표현식을 이용해 가져온다.
    tags = re.findall(r'#[^\s#,\\]+', content)  

    #  작성일자 정보 가져오기
    date = soup.select('time._1o9PC.Nzb55')[0]['datetime'][:10]

    #  좋아요 수 가져오기
    # 예외처리구문.
    try:
        # print(soup.select('div.Nm9Fw.zV_Nj > span')[0].text)
        like = soup.select('div.Nm9Fw > a > span')[0].text   
    except:
        like = 0
    # 위치정보
    # 예외 처리구문
    try: 
        place = soup.select('div.M30cS')[0].text
    except:
        place = ''
    # 위치정보
    # 예외 처리구문
    try: 
        img = img = soup.select('div._97aPb img')[0]['src']
        print(img)   
    except:
        img = ''
    # 4. 저장하기
    data = [content, date, like, place, tags, img]
    return data


# 인스타그램 접속하기
driver.get('http://www.instargram.com')

#로딩하는데 시간이 걸릴 수 있으므로 3초간 대기
time.sleep(3)
insta_id = 'ID'   
input_id = driver.find_elements_by_css_selector('input._2hvTZ.pexuQ.zyHYP')[0]

password = 'PW!' 
input_pw = driver.find_elements_by_css_selector('input._2hvTZ.pexuQ.zyHYP')[1]

input_id.send_keys(insta_id)
input_pw.send_keys(password)

first = driver.find_element_by_css_selector("#loginForm > div.Igw0E.IwRSH.eGOV_._4EzTm.kEKum > div:nth-child(3)")
first.click()

time.sleep(5)

word = 'pet'
url = searching(word)

# 검색페이지 접속
driver.get(url)
time.sleep(3)

# 첫 번째 게시글 열기
click_first(driver)

#크롤링 결과를담을 리스트 생성
result = [ ]


# 여러 게시글 수집하기
target = 1000     # 크롤링할 게시글 수
for i in range(target):
    # 게시글 수집에 오류 발생시 5초 대기후, 다음 게시글로 넘어가도록 예외처리 구문 활용
    try:
        data = get_content(driver)    # 게시글 정보 가져오기
        result.append(data)
        next_page(driver)
    except:
        time.sleep(5)
        next_page(driver)
result = pd.DataFrame(result)
result.to_csv('/Users/kimyoungho/python/sample.csv', index=False, encoding="utf-8-sig")
print(result)