일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- JWT
- 트랜잭션
- 5주차
- MongoDB
- db
- 웹 스크래핑(크롤링)
- 노드 윈스턴
- 위키백과
- post
- 2주차
- SQL
- NoSQL
- 3주차
- 비동기
- 스파르타코딩클럽
- 항해99
- 1주차
- HTTPS
- cors
- 숙제
- node winston
- Sequelize
- Transaction
- OpenAPI
- 4주차
- Get
- 개발일지
- Node.js
- 부트스트랩
- nginx
- Today
- Total
목록
728x90
웹 스크래핑(크롤링) (2)
얼음꽃의 일지
배운 내용을 가지고 만든 부분이기 때문에 따로 설명 없이 올려놓겠습니다. import requests from bs4 import BeautifulSoup headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} data = requests.get('https://www.genie.co.kr/chart/top200?ditc=M&rtm=N&ymd=20210701',headers=headers) soup = BeautifulSoup(data.text, 'html.parser') #body-content > div..
이번에는 웹 스크래핑(크롤링)을 한번 해보려고 합니다. 웹 스크래핑을 하기 위해서는 먼저 필요한 패키지가 있으므로 다운받으러 가봅시다. request 패키지 : 파일 - 설정 - 프로젝트 - Python 인터프리터 - 더하기 버튼 클릭 - request bs4 패키지 : 파일 - 설정 - 프로젝트 - Python 인터프리터 - 더하기 버튼 클릭 - bs4 이 두개의 패키지 설치를 완료 하셨으면 크롤링 기본 세팅을 보여드리겠습니다. import requests from bs4 import BeautifulSoup # 타겟 URL을 읽어서 HTML를 받아오고, headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537..