일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 | 30 |
- 개발일지
- NoSQL
- 항해99
- 2주차
- cors
- MongoDB
- 위키백과
- 부트스트랩
- SQL
- 1주차
- JWT
- 스파르타코딩클럽
- 트랜잭션
- Get
- OpenAPI
- HTTPS
- post
- db
- 비동기
- Node.js
- 숙제
- 3주차
- nginx
- 4주차
- 노드 윈스턴
- 5주차
- node winston
- Sequelize
- Transaction
- 웹 스크래핑(크롤링)
- Today
- Total
목록
728x90
2022/09 (18)
얼음꽃의 일지
이번에는 웹 스크래핑(크롤링)을 한번 해보려고 합니다. 웹 스크래핑을 하기 위해서는 먼저 필요한 패키지가 있으므로 다운받으러 가봅시다. request 패키지 : 파일 - 설정 - 프로젝트 - Python 인터프리터 - 더하기 버튼 클릭 - request bs4 패키지 : 파일 - 설정 - 프로젝트 - Python 인터프리터 - 더하기 버튼 클릭 - bs4 이 두개의 패키지 설치를 완료 하셨으면 크롤링 기본 세팅을 보여드리겠습니다. import requests from bs4 import BeautifulSoup # 타겟 URL을 읽어서 HTML를 받아오고, headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537..
패키지란? -> 패키지는 모듈(일종의 기능을 묶음)을 모아 놓은 단위입니다. 이러한 패키지를 묶어둔게 라이브러리라고 하죠. 우리가 코드를 치면서 사용하는거 말고 외부에서 사용하는걸 가져올때 패키지를 주로 사용합니다. 즉, 패키지 설치하는건 외부 라이브러리를 설치해 외부 데이터를 사용하도록 한다 라고 생각해 주시면 됩니다. 패키지 설치 방법 -> 파일 - 설정 - 프로젝트 - Python 인터프리터 - 더하기 버튼 클릭 - request를 치고 받아주시면 됩니다. 패키지를 설치한 후 사용 방법은 다음과 같습니다. html 파일이 아닌 py파일에서 request를 import 시켜주시고 이전에 사용한 URL을 불러와서 rjson형식으로 바꿔주는 것입니다. jQuery + JavaScript는 그 값을 let..