웹 상의 정보를 추출하기

이 포스팅은 서적 '머신러닝, 딥러닝 실전개발 입문'을 참고한 포스팅입니다.

이전 포스팅에서 우리는 머신러닝을 하기 위한 양분 데이터의 중요성을 알아보았다.

그렇다면 웹상에 돌아다니는 무수히 많은 정보를 얻어야 우리는 머신러닝을 구현하지 않을까?

실제로 웹 상의 데이터를 구하는 방법을 작성하겠다.

파이썬에서는 웹 사이트에 있는 데이터를 추출하기 위해 "urllib 라이브러리"를 사용한다. 

해당 라이브러리를 이용하면 HTTP 또는 FTP를 사용해 데이터를 다운로드 할 수 있다.

그렇다면 웹상의 이미지를 실제로 추출하여 보자.

# 라이브러리 읽어 들이기 --- (※1) import urllib.request # URL과 저장 경로 지정하기 url = "http://uta.pw/shodou/img/28/214.png" savename = "test.png" # 다운로드 --- (※2) urllib.request.urlretrieve(url, savename) print("저장되었습니다...!")

urlretrieve( )함수를 이용하여 파일을 다운로드 할 수있다.

이때 첫 번째 매개변수에는 URL이, 두 번째 매개변수에는 저장할 파일의 경로를 지정한다.

다음과 같이 간단한 코드로 PNG파일을 다운로드 할 수 있다.

그렇다면 request.urlretrieve( )함수를 이용하여 파일에 곧바로 저장하지 않고,

해당 데이터를 파이썬 메모리 위에(변수에 저장해서 활용할 수 있게) 올린 후 해당 파일을 저장해보겠다.

import urllib.request # URL과 저장 경로 지정하기 url = "http://uta.pw/shodou/img/28/214.png" savename = "test.png" # 다운로드 --- (※1) mem = urllib.request.urlopen(url).read() # 파일로 저장하기 --- (※2) with open(savename, mode="wb") as f: f.write(mem) print("저장되었습니다...!")

이전과 달리 request.urlretrieve( )함수를 사용하지 않고, request.urlopen( ) 함수를 사용하는 것을 확인할 수 있다.

지금까지는 특정 파일만 다운로드 하였는데,

html 홈페이지에 올라온 데이터를 한번 다운로드하여 보겠다.

# IP 확인 API로 접근해서 결과 출력하기 # 모듈 읽어 들이기 --- (※1) import urllib.request # 데이터 읽어 들이기 --- (※2) url = "http://api.aoikujira.com/ip/ini" res = urllib.request.urlopen(url) data = res.read() # 바이너리를 문자열로 변환하기 --- (※3) text = data.decode("utf-8") print(text)

정상적으로 웹페이지에 올라온 데이터를 다운로드 하는 것을 확인할 수 있다. 

그렇다면 URL에 매개변수를 추가해 요청을 전송하는 방법 또한 할 수 있을까?

물론 가능하다.

예제는 기상청의 RSS 서비스를 사용하여 서울/경기도의 날씨를 정보 웹페이지를 다운로드 하여 보겠다.

import urllib.request import urllib.parse API = "http://www.kma.go.kr/weather/forecast/mid-term-rss3.jsp" # 매개변수를 URL 인코딩합니다. --- (※1) values = { 'stnId': '109' # 서울/경기도의 지역번호 } params = urllib.parse.urlencode(values) #url인코딩 # 요청 전용 URL을 생성합니다. --- (※2) url = API + "?" + params print("URL = ", url) # 다운로드합니다. --- (※3) data = urllib.request.urlopen(url).read() text = data.decode("utf-8") print(text)

정상적으로 추출되는 것을 확인 할 수 있다.

그렇다면 기능을 확장하여 동적으로 다른 지역의 정보를 알아내는 코드를 보이겠다.

#!/usr/bin/env python3 # 라이브러리를 읽어 들입니다. --- (※1) import sys import urllib.request as req import urllib.parse as parse # 명령줄 매개변수 추출 --- (※2) if len(sys.argv) <= 1: print("USAGE: download-forecast-argv <Region Number>") sys.exit() regionNumber = sys.argv[1] # 매개변수를 URL 인코딩합니다. --- (※3) API = "http://www.kma.go.kr/weather/forecast/mid-term-rss3.jsp" values = { 'stnId': regionNumber } params = parse.urlencode(values) url = API + "?" + params print("url=", url) # 다운로드합니다. --- (※3) data = req.urlopen(url).read() text = data.decode("utf-8") print(text)