Nickoo's Blog

법정동코드를 확인하는 곳은 아래 사이트에서 확인할 수 있습니다.

법정동코드목록조회 - 행정표준코드관리시스템 (code.go.kr)

위 사이트에 들어가면 아래와 같이 노출됩니다.

원하는 법정동 코드를 검색하셔도 좋고 전체자료를 다운 받아서 확인도 가능합니다.

법정도코드를 사용 하는 방법은 맨 앞 5자리만 사용하시면 됩니다.

국토교통부의 API를 통해 아파트 매매 실거래가 구하는 방법을 파이썬으로 구현해보려고 합니다.

1. 먼저 오픈API 인 공공데이터 포털(https://www.data.go.kr/)에 접속 후 가입합니다.

2. 국토교통부 실거래가 정보 > '아파트 매매 실거래 상세자료' 를 클릭합니다.

국토교통부_아파트매매 실거래 상세 자료 | 공공데이터포털 (data.go.kr)

3. [활용신청] 버튼을 클릭합니다.

4. 아래와 같이 활용목적 선택 및 활용목적 내용을 입력한 후, 라이선스 표시의 이용허락범위 동의 체크 후 [활용신청] 버튼을 클릭합니다.

5. [활용신청] 하면 아래와 같이 표시가 됩니다. '[승인] 국토교통부_아파트매매 실거래 상세 자료' 를 클릭합니다.

6. 아래와 같은 화면이 나오며, 일반 인증키를 받으실 수 있습니다.

7. API 를 어떻게 활용할지는 6번의 기본정보의 데이터명에 있는 [상세설명] 버튼을 클릭하면 아래와 같이 나옵니다.

8. Pycharm 실행 후 python 파일을 생성하여 하기와 같이 코드를 입력 후 실행합니다.

코드 : 

import requests
import bs4

# 인증키 입력
encoding = 'Mh45mSa9bTrEqu9HdNvBuYelMlMfdArTBrivw7ExPdSSiiY0IbsWWkGq%2BJCbNkSkWrIqN59QWdXSAnxn1HWQ4Q%3D%3D'
decoding = 'Mh45mSa9bTrEqu9HdNvBuYelMlMfdArTBrivw7ExPdSSiiY0IbsWWkGq+JCbNkSkWrIqN59QWdXSAnxn1HWQ4Q=='

# 법정동 코드
areacode = 11110  # 종로구

# 조회기간 변수
month = ['01', '02', '03', '04', '05', '06', '07', '08', '09', '10', '11', '12']
year = '2022'

# 총 거래내역
count = []

for each in month:
    year_month = year + each

    # url 입력
    url = 'http://openapi.molit.go.kr/OpenAPI_ToolInstallPackage/service/rest/RTMSOBJSvc/getRTMSDataSvcAptTradeDev'
    params = {'serviceKey': decoding, 'pageNo': '1', 'numOfRows': '10000', 'LAWD_CD': areacode, 'DEAL_YMD': year_month}

    response = requests.get(url, params=params).text
    xmlobj = bs4.BeautifulSoup(response, 'lxml-xml')
    rows = xmlobj.findAll('item')

    i = 0
    count.append(len(rows))  # 해당 기간의 거래내역 개수 저장

    # 거래별 세부 항목 정리
    while i <= len(rows) - 1:
        columns = rows[i].find_all()

        # 세부 항목 추출
        for item in columns:
            if item.name == "아파트":
                complex = item.text
            if item.name == "거래유형":
                type = item.text
            if item.name == "년":
                year = item.text
            if item.name == "월":
                month = item.text
            if item.name == "일":
                day = item.text
            if item.name == "전용면적":
                size = item.text
            if item.name == "층":
                floor = item.text
            if item.name == "거래금액":
                amount = item.text.strip()

        try:
            # 해당 기간 거래 전체 조회
            print(f'{year}년 {month}월 {day}일 | {size}m\u00b2 | {floor}층 | {amount}만원 | {complex} | {type}')

        except NameError:  # 에러
            pass

        i += 1

print(f'총 {sum(count)}건이 거래됐습니다.')

결과값 : 

Selenium이라고 하면 테스트 자동화에 사용하는 것보다 크롤링을 떠올리게 됩니다.

수 많은 데이터들을 가져와서 내가 필요한대로 가공하기도 하고, 심지어 서비스를 제공하는 곳도 있습니다.

이번에는 가장 기초중에 하나인 네이버 영화 리뷰 타이틀을 크롤링 하는 법을 구현해보려고 합니다.

사전조건

: Pycharm, Python 3.X , 라이브러리 ( beautifulsoup, requests, lxml ) 설치 필요

1.네이버의 영화에 들어가서 영화 선택을 합니다.

2. 저는 '엔트맨과 와스프: 퀀텀매니아' 영화 리뷰를 가져오기 위해 영화 검색을 한 후 [리뷰] 탭을 클릭했습니다.
    주소 : https://movie.naver.com/movie/bi/mi/review.naver?code=193855

3. 아래와 같이 requests, BeautifulSoup 패키지를 설치했습니다. (주석을 통해 설명 생략)

4. 브라우저에서 F12를 누르고 리뷰 내용을 클릭하면 빨간색 네모박스와 같이 리뷰에 대한 html 구조가 나옵니다.

     <ul class="rvw_list_area"> 아래로 2개의 <li> 가 보입니다. 리뷰가 총 2개 있다는 뜻입니다.

5. <li> 갯수만큼 for문을 돌리면서 <a> 태그 아래 <strong> 의 리뷰 내용을 가져오면 됩니다.

6. 아래와 같이 html 소스를 파싱하여 원하는 정보를 얻어올 수 있습니다.

    <ul>
        ㄴ<li>
             ㄴ<a>
                  ㄴ <string> 

수행 결과 :

이렇게 해서 간단하게 영화 리뷰 제목을 크롤링 해봤습니다. 

크롤링을 하여 구현할 수 있는 것이 어마어마하게 많은데 차차 재밌는 것들을 업데이트 해보겠습니다.

1. Mac에서 Terminal 을 실행 시킵니다.

2. 설치되어 있는 Python 버전 확인을 합니다.

ls -l /usr/local/bin/python*

위의 명령어를 실행하면 하기와 같이 python 버전과 위치가 나옵니다.

3. 파이썬 버전 변경하기

현재 python 3.9가 설치되어 있기 때문에 아래와 같이 입력을 해줍니다. 만약 python 3.10이 설치되어 있으면, 3.9대신 3.10으로 넣으면 됩니다.

ln -s -f /usr/local/bin/python3.9 /usr/local/bin/python

4. 확인하기

터미널을 종료하고 다시 실행 시켜서 하기와 같이 명령어를 입력하고 엔터를 치면, python 3.9 버전으로 변경되어 있는 것을 볼 수 있습니다.

python --version