requests 3

[웹 크롤링 - Python] BeautifulSoup(Requests, Selenium)의 응용(2)

이번에는 오늘의 정보를 가져와서 text파일에 저장하는 함수를 만들었습니다. 날씨와 헤드라인 뉴스, 그리고 IT뉴스와 헤커스의 오늘의 영어 회화를 가져와서 today.txt파일에 저장하는 함수입니다. 아 그리고 Requests와 Selenium을 쓸 때도 있고, 안 쓸 때도 있습니다. 아마 동시에 쓸 일은 아직까지는 없네요. 일단 둘 다 공부해야해서 한 파트에 한 가지만 쓰고 있습니다. find와 select를 혼용해서 쓴 이유는 공부하기 위해서입니다. 한 가지만 쓰면 다른 한 가지는 까먹기 때문에.. import requests from bs4 import BeautifulSoup import sys # 기본 출력을 today.txt로 바꿈 sys.stdout = open('today.txt', 'w'..

[웹 크롤링 - Python] 응용 및 홈페이지 url 변경 크롤링

1. 간단한 응용 이번 시간에는 지금까지 배운 내용을 토대로 네이버 웹툰을 가져와보겠다. 가져올 네이버 웹툰은 김세훈 작가님의 '열렙전사'를 가져와보도록 하겠다. 가져올 내용은 제목과 링크, 그리고 별점을 가져오고 가져온 이후에는 평점의 평균을 내보도록 하겠다. import requests from bs4 import BeautifulSoup # url은 네이버 웹툰의 열렙전사이다. url = "https://comic.naver.com/webtoon/list?titleId=670152&weekday=sun" head = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome..

[웹 크롤링 - Python] Requests 라이브러리

1. Requests란? Requests란 Python용 HTTP 라이브러리이다. Python에서 특정 웹사이트에 HTTP 요청을 보내는 모듈이라고 생각하면 될 것 같다. 좀 더 쉽게 말해서 특정 웹사이트에 HTTP 요청을 보내 HTML 문서를 받아올 수 있는 라이브러리이다. 근데 정확히 말하면 얘가 가져오는 HTML 문서는 문서가 아닌 그냥 단순한 String이고, 뒤에서 배우는 BeautifulSoup에 의해 살아있는 HTML 문서로 바뀌게 된다. 2. 설치 터미널 창에 "pip install requests" 를 치면 알아서 설치가 된다. 근데 나는 파이참을 쓰기도 했고, 이때는 pip를 잘 몰라서 그냥 File -> Setting -> Project:Python -> Python Interpret..