파이썬으로 크롤링 해보기

참고 url

wikidocs.net/86334

 

파이참에 아래코드를 입력해주고

만약 import에 빨간줄이 떠있다면 라이브러리가 없는것!

 

 

 

프로젝트> 인터프리터 > 좌측하단 '+' 버튼 -> 해당 라이브러리를 검색후 인스톨 해준다.

 

 

import requests
from bs4 import BeautifulSoup

url = 'https://kin.naver.com/search/list.nhn?query=%ED%8C%8C%EC%9D%B4%EC%8D%AC'

response = requests.get(url)

if response.status_code == 200:
    html = response.text
    soup = BeautifulSoup(html, 'html.parser')
    ul = soup.select_one('ul.basic1')
    titles = ul.select('li > dl > dt > a')
    for title in titles:
        print(title.get_text())
    print(ul)
else :
    print(response.status_code)

 

 

url에 들어가는값은

 

네이버 지식인에 파이썬 을 검색한후 f12눌러서 request url을 긁어온것

 

 

 

 

 

결과

 

재밌네 ..ㅎ