| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | |
| 7 | 8 | 9 | 10 | 11 | 12 | 13 |
| 14 | 15 | 16 | 17 | 18 | 19 | 20 |
| 21 | 22 | 23 | 24 | 25 | 26 | 27 |
| 28 | 29 | 30 |
- cors
- node winston
- 스파르타코딩클럽
- 2주차
- Node.js
- 개발일지
- db
- MongoDB
- 항해99
- JWT
- HTTPS
- NoSQL
- 부트스트랩
- post
- nginx
- Get
- 숙제
- SQL
- 4주차
- OpenAPI
- 1주차
- 웹 스크래핑(크롤링)
- 비동기
- 5주차
- 위키백과
- 노드 윈스턴
- 트랜잭션
- Transaction
- 3주차
- Sequelize
- Today
- Total
목록
728x90
웹 스크래핑(크롤링) (2)
얼음꽃의 일지
지니 뮤직 크롤링하기
배운 내용을 가지고 만든 부분이기 때문에 따로 설명 없이 올려놓겠습니다. import requests from bs4 import BeautifulSoup headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} data = requests.get('https://www.genie.co.kr/chart/top200?ditc=M&rtm=N&ymd=20210701',headers=headers) soup = BeautifulSoup(data.text, 'html.parser') #body-content > div..
웹 스크래핑(크롤링)
이번에는 웹 스크래핑(크롤링)을 한번 해보려고 합니다. 웹 스크래핑을 하기 위해서는 먼저 필요한 패키지가 있으므로 다운받으러 가봅시다. request 패키지 : 파일 - 설정 - 프로젝트 - Python 인터프리터 - 더하기 버튼 클릭 - request bs4 패키지 : 파일 - 설정 - 프로젝트 - Python 인터프리터 - 더하기 버튼 클릭 - bs4 이 두개의 패키지 설치를 완료 하셨으면 크롤링 기본 세팅을 보여드리겠습니다. import requests from bs4 import BeautifulSoup # 타겟 URL을 읽어서 HTML를 받아오고, headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537..