3. Python, pymongo, mongoDB

파이썬 패키지 설치:

 

File ->Setting ->Project->Python Interpreter -> + 누르기 -> 검색해서 쓰고 ->Install Package ->OK

패키지마다 쓰는 사용법 있는데 구글링해서 코드 복붙 후 사용하기

 

크롤링: 구글이나 네이버의 검색 엔진이 내 사이트를 퍼가는 행위

크롤링이 가능한 기본적인 이유?

이미 받아온 것을 가지고 솎아내는 것이 크롤링!

 

따라서 크롤링 할 때 중요한 두가지는

1) 코드단에서 요청하는 것(브라우저를 키지 않고)

2) 요청돼서 가지고 온 html들 중에 원하는 정보를 잘 솎아내는 것!

 

bs4에서 select와 select_one 사용법 알기!

 

태그 안의 텍스트를 찍고 싶을 땐 → 태그.text

태그 안의 속성을 찍고 싶을 땐 → 태그['속성']

 

ex) 크롤링 할때 쓰는 bs4

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.nhn?sel=pnt&date=20200303',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

 

 

DB개괄

 

데이터베이쓰는 왜 쓸까? 데이터를 잘 갖다쓰려고!

 

데이터베이스엔 크게 두가지 종류가 있음

 

1) RDBMS(SQL)

행/열의 생김새가 정해진 엑셀에 데이터를 저장하는 것과 유사함.

데이터 50만 개가 적재된 상태에서, 갑자기 중간에 열을 하나 더하기는 어렵다. 하지만 정형화되어 있는 만큼, 데이터의 일관성이나 / 분석에 용이할 수 있다.

ex) MS-SQL, My-SQL 등

 

2)No-SQL

딕셔너리 형태로 데이터를 저장해두는 DB.

따라서 데이터 하나 하나 마다 같은 값들을 가질 필요가 없음. 자유로운 형태의 데이터 적재에 유리한 대신, 일관성이 부족할 수 있다.

ex) MongoDB

 

MongoDB와 Robo3T?

 

MongoDB는 데이터베이스(데이터 쌓아두는 것). 그런데 내 눈에 보이지 않게 켜짐. 그래서 Robo3T를 가지고 MongoDB의 데이터를 눈으로 볼 수 있게 함!

Robo3T는 MongoDB의 데이터를 시각화해서 눈으로 볼 수 있게 하는 프로그램

 

pymongo로 DB조작하기

 

-pymongo 라이브러리의 역할

 

MS Excel를 파이썬으로 조작하려면, 특별한 라이브러리가 필요할 것임.

마찬가지로, mongoDB 라는 프로그램을 조작하려면, 특별한 라이브러리, pymongo가 필요!

 

-pymongo 사용법