안녕

1. 간단한 응용 이번 시간에는 지금까지 배운 내용을 토대로 네이버 웹툰을 가져와보겠다. 가져올 네이버 웹툰은 김세훈 작가님의 '열렙전사'를 가져와보도록 하겠다. 가져올 내용은 제목과 링크, 그리고 별점을 가져오고 가져온 이후에는 평점의 평균을 내보도록 하겠다. import requests from bs4 import BeautifulSoup # url은 네이버 웹툰의 열렙전사이다. url = "https://comic.naver.com/webtoon/list?titleId=670152&weekday=sun" head = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome..

앞의 글을 읽으시면 이해에 도움이 됩니다. 2022.01.28 - [Python Library/웹 크롤링] - [웹 크롤링 - Python] BeautifulSoup4 라이브러리, lxml 모듈 [웹 크롤링 - Python] BeautifulSoup4 라이브러리, lxml 모듈 1. BeautifulSoup과 lxml이란? BeautifulSoup이란 스크래핑을 하기위해 사용하는 패키지이고, lxml은 구문을 분석하기 위한 파서이다. 즉, BeautifulSoup은 response.text를 통해 가져온 HTML 문서를 탐색해서 원하는 hi-guten-tag.tistory.com 1. '.' 이용 '.'을 이용해서 보는 법이 있다. 예를 들어 앞에서 했던 네이버 웹툰을 생각해보자. import reque..

1. BeautifulSoup과 lxml이란? BeautifulSoup이란 스크래핑을 하기위해 사용하는 패키지이고, lxml은 구문을 분석하기 위한 parser이다. 즉, BeautifulSoup은 response.text를 통해 가져온 HTML 문서를 탐색해서 원하는 부분을 뽑아내는 그런 역할을 하는 라이브러리이다. 또한, response.text로 가져온 HTML문서는 단순히 String에 지나지 않으니, lxml을 통하여 의미있는 HTML문서로 변환하는 것이다. 결론적으로, response.text로 가져온 String은 lxml이라는 모듈의 해석에 의하여 의미있는 HTML 문서로 변환되고, 이렇게 변환된 HTML문서는 BeautifulSoup에 의해서 원하는 부분을 탐색할 수 있게 된다. 그래서 ..

1. User-Agent란? 우리가 보통 컴퓨터로 들어가는 사이트의 화면과 휴대폰으로 들어가는 사이트의 화면은 다르다. pc에서의 네이버 화면과, 휴대폰에서의 네이버 화면이 다르다. 이는 우리가 웹사이트에 접속할 때, 우리의 정보를 가지고 웹사이트에서 스마트폰인지 데스크탑인지 판단해서 보여주는 그런 정보를 담고 있다. 더보기 더보기 더보기 소프트웨어 에이전트가 네트워크 프로토콜 안에서 동작할 때, 문자적 식별 문자열을 피어(peer)에 제출함으로써 종종 자기 자신과 애플리케이션 유형, 운영 체제, 소프트웨어 업체, 소프트웨어 리비전을 식별한다. HTTP,[2] SIP,[1], NNTP[3] 프로토콜에서 이러한 식별 정보는 User-Agent라는 헤더 필드를 통해 전달된다. 웹 크롤러와 같은 봇은 종종 U..

1. Requests란? Requests란 Python용 HTTP 라이브러리이다. Python에서 특정 웹사이트에 HTTP 요청을 보내는 모듈이라고 생각하면 될 것 같다. 좀 더 쉽게 말해서 특정 웹사이트에 HTTP 요청을 보내 HTML 문서를 받아올 수 있는 라이브러리이다. 근데 정확히 말하면 얘가 가져오는 HTML 문서는 문서가 아닌 그냥 단순한 String이고, 뒤에서 배우는 BeautifulSoup에 의해 살아있는 HTML 문서로 바뀌게 된다. 2. 설치 터미널 창에 "pip install requests" 를 치면 알아서 설치가 된다. 근데 나는 파이참을 쓰기도 했고, 이때는 pip를 잘 몰라서 그냥 File -> Setting -> Project:Python -> Python Interpret..