얼음꽃의 일지

지니 뮤직 크롤링하기

배운 내용을 가지고 만든 부분이기 때문에 따로 설명 없이 올려놓겠습니다. import requests from bs4 import BeautifulSoup headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} data = requests.get('https://www.genie.co.kr/chart/top200?ditc=M&rtm=N&ymd=20210701',headers=headers) soup = BeautifulSoup(data.text, 'html.parser') #body-content > div..

DB 설명 및 사용

DB에 대해서 알아보겠습니다. DB를 왜 쓰냐? 정리가 안된 장소에서 정리를 하고, 나중에 물건을 잘 찾으면 편리하죠? 그거처럼 DB도 들어오는 데이터를 잘 정리해서 나중에 찾기 쉽게 하려고 사용합니다. 서점, 마트 같은 느낌이라고 보시면 되겠네요. DB에는 두가지 종류가 있는데요. 두개의 설명을 하자면 SQL은 생김새가 우리가 하는 행렬 처럼 되어있어서 데이터를 저장하는 것입니다. 그대신 엄청나게 데이터가 쌓여있는 상태에서 중간에 갑자기 열을 추가하는건 살짝 어렵습니다. 즉, 일관성, 분석 등에는 좋지만 너무 많은 양의 데이터에서 추가하기는 조금 힘들다 라고 생각하시면 될거 같습니다. ex ) MS - SQL, My - SQL 등 No-SQL은 NO SQL이 아니라 Not only SQL 이라는 의미인..

웹 스크래핑(크롤링)

이번에는 웹 스크래핑(크롤링)을 한번 해보려고 합니다. 웹 스크래핑을 하기 위해서는 먼저 필요한 패키지가 있으므로 다운받으러 가봅시다. request 패키지 : 파일 - 설정 - 프로젝트 - Python 인터프리터 - 더하기 버튼 클릭 - request bs4 패키지 : 파일 - 설정 - 프로젝트 - Python 인터프리터 - 더하기 버튼 클릭 - bs4 이 두개의 패키지 설치를 완료 하셨으면 크롤링 기본 세팅을 보여드리겠습니다. import requests from bs4 import BeautifulSoup # 타겟 URL을 읽어서 HTML를 받아오고, headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537..

패키지 설치 및 패키치를 이용한 간단한 코드

패키지란? -> 패키지는 모듈(일종의 기능을 묶음)을 모아 놓은 단위입니다. 이러한 패키지를 묶어둔게 라이브러리라고 하죠. 우리가 코드를 치면서 사용하는거 말고 외부에서 사용하는걸 가져올때 패키지를 주로 사용합니다. 즉, 패키지 설치하는건 외부 라이브러리를 설치해 외부 데이터를 사용하도록 한다 라고 생각해 주시면 됩니다. 패키지 설치 방법 -> 파일 - 설정 - 프로젝트 - Python 인터프리터 - 더하기 버튼 클릭 - request를 치고 받아주시면 됩니다. 패키지를 설치한 후 사용 방법은 다음과 같습니다. html 파일이 아닌 py파일에서 request를 import 시켜주시고 이전에 사용한 URL을 불러와서 rjson형식으로 바꿔주는 것입니다. jQuery + JavaScript는 그 값을 let..

DB를 하기에 앞서..

DB를 하기에 앞서 먼저 필요한 프로그램들을 설치 및 준비를 해야합니다. 파이썬 : https://www.python.org/ftp/python/3.8.6/python-3.8.6-amd64.exe gitbash : https://git-scm.com/ MongoDB : https://account.mongodb.com/account/register 파이썬은 DB와 Html을 연결하기 위해 사용을 위해 필요하고 gitbash는 나중에 연결을 위해 필요하며 MongoDB는 데이터를 저장할 공간이 있어야 하기때문에 그걸 위해 회원가입을 한다고 생각하시면 됩니다. ( 설치 과정 부분은 유튜브 및 블로그를 참조해주시면 감사하겠습니다. ) 이 부분이 완료가 끝나셨으면 3주차 내용을 배우기 전에 2주차 내용을 한번 ..