안녕

  • 홈
  • 태그
  • 방명록

웹드라이버 1

[웹 크롤링 - Python] Selenium 프레임워크 및 웹 드라이버

1. Selenium 이란? 만약 우리가 웹 크롤링을 하는 과정에서 로그인이 필요한 경우에는 어떻게 해야할까? 일일이 우리가 로그인을 하고 안에 들어간 다음에 url 주소를 다시 줘야할까?? 혹은 해당 웹사이트가 프로그램을 통한 접근을 막은 경우에는 어떻게 될까?? User-Agent를 바꾸면 해결할 수는 있지만, 인생이 그렇듯 하나의 방법으로는 불가능한게 너무 많다. 그렇다면 어떤 방법을 통해서 할 수 있을까? requests로는 한계가 있어보인다. 방법은 Selenium이다. Selenium은 마치 우리가 웹 사이트를 이용하는 것처럼 홈페이지를 제어할 수 있다. 사실 Selenium은 위와 같은 경우 때문에 생겨난 프레임워크가 아니다. 크롤링을 위한 프레임워크가 아니란 말이다. 사실 Selenium은..

Python Library/웹 크롤링 2022.02.01
1
프로필사진

  • 분류 전체보기 (462)
    • 인공지능 (74)
      • 머신러닝 (58)
      • Computer Vision (8)
      • Anaconda (6)
      • Pytorch (2)
    • 논문 (9)
      • Image&Video Recognition (4)
      • Image&Video Super-Resolutio.. (5)
      • QAT(Quantization Aware Trai.. (0)
      • PTQ(Post Training Quantizat.. (0)
    • Computer Science (281)
      • 컴퓨터 구조 (34)
      • 알고리즘 (179)
      • 네트워크 (43)
      • 비디오 코덱 (1)
      • 데이터 베이스 (24)
    • Python Library (55)
      • OpenCV (2)
      • Numpy (0)
      • Pandas (31)
      • Matplotlib (5)
      • 웹 크롤링 (9)
      • 오픈 소스 프로그래밍 (8)
    • 프로그래밍 언어 (10)
      • Python (9)
      • Matlab (1)
    • 수학 (16)
      • 확률과 통계 (16)
    • 여러 공부 (0)
    • 학교 수업 (7)
      • 회계와 사회 생활 (6)
    • 나의 일상 (10)

페이스북 트위터 플러그인

  • GitHub
  • Instagram

공지사항

  • 이것저것

방문자수Total

  • Today :
  • Yesterday :
05-31 06:23

Copyright © Kakao Corp. All rights reserved.

  • GitHub

티스토리툴바

개인정보

  • 티스토리 홈
  • 포럼
  • 로그인

단축키

내 블로그

내 블로그 - 관리자 홈 전환
Q
Q
새 글 쓰기
W
W

블로그 게시글

글 수정 (권한 있는 경우)
E
E
댓글 영역으로 이동
C
C

모든 영역

이 페이지의 URL 복사
S
S
맨 위로 이동
T
T
티스토리 홈 이동
H
H
단축키 안내
Shift + /
⇧ + /

* 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.