[Python] Beautifulsoup로 급식 식단 파서 만들기

Ubuntu 16.04.3과 Python 3.5.2를 사용하였습니다.

(추후 이 파서를 사용하여 디스코드 봇을 만들때 사용되는 discord.py의 요구사항이 Python 3.4 이상이기 때문)

---

먼저, Beautifulsoup를 설치해 줍니다.

$pip3 install Beautifulsoup4

---

급식데이터를 추출할 페이지를 골라야 하는데요.

나이스 홈페이지 또는 해당 학교홈페이지에서 급식데이터를 가져올 수 있습니다.

그러나 학교홈페이지를 이용할 경우 학교홈페이지마다 구조가 약간씩 다르기 때문에,

나이스 홈페이지를 사용하여 진행하도록 하겠습니다.

그럼, 우리에게 필요한 URL을 구해보겠습니다.

(각자의 조건에 맞게 구하세요.)

1. 교육청 주소

나이스 학생서비스(https://stu.use.go.kr/) <----- 이동해 줍니다.

상단에 OOO교육청 이동하기를 통해 자신의 학교가 속한 교육청으로 이동해줍니다.

그리고 URL을 확인합니다. (ex 서울특별시교육청 : https://stu.sen.go.kr)

2. 학교고유코드

나의생활 > 학교안내 > 기본정보 에서 자신의 학교를 검색하고

해당 페이지의 쿠키값을 확인하면 우리에게 필요한 값들을 얻을 수 있습니다.

schulCode=B100000519    #우리가 검색한 학교의 고유 코드이다.

schulKndScCode=04    #01은 유치원, 02는 초등학교, 03은 중학교, 04는 고등학교를 의미한다.

schulCrseScCode=4    #1은 유치원, 2는 초등학교, 3은 중학교, 4는 고등학교를 의미한다.

쿠키값은 EditThisCookie 라는 크롬 확장프로그램을 사용하시면 됩니다.

3. 정확한 주소 구하기

우리는 주간식단 페이지에서 식단을 추출할 것이기에 주간식단 주소를 구해줍니다.

주간식단 주소 : /sts_sci_md01_001.do

이 주소 뒤에 쿼리값으로 위에서 구한 값들과, 아래 값을 담아 보내면 됩니다.

schMmealScCode=2    #1 조식, 2 중식, 3 석식

schYmd=2018.1.1    #2018년 1월 1일이 포함된 한 주(week), '.(점)'주의

4. 주소 확인하기

예시

http://stu.sen.go.kr/sts_sci_md01_001.do?schulCode=B100000519&schulCrseScCode=4&schulKndScCode=04&schMmealScCode=2&schYmd=2017.12.26

위와 같이 자신이 구한 주소를 요청하였을때, 자신이 적은 날짜(schYmd의 값)가 포함된 그 주의 식단이 표시되면 됩니다.

---

이제 코드를 작성해 봅시다.

import requests
from bs4 import BeautifulSoup
 
 
def get_html(url):
   _html = ""
   resp = requests.get(url)
   if resp.status_code == 200:
      _html = resp.text
   return _html
 
 
def get_diet(code, ymd, weekday):
    schMmealScCode = code #int
    schYmd = ymd #str
 
    URL = (
            "http://stu.sen.go.kr/sts_sci_md01_001.do?"
            "schulCode=B100000519&schulCrseScCode=4&schulKndScCode=04"
            "&schMmealScCode=%d&schYmd=%s" % (schMmealScCode, schYmd)
        )
    html = get_html(URL)
    
    element = html
   
    return element

 

나중에 사용하기 편하게 하기 위해 함수로 만들어 주었습니다.

get_html(url)은 해당 페이지의 html소스를 출력해 주는 함수입니다.

이 소스 하단에

diet = get_diet(2, "2017.12.26")
print(diet)

를 추가하면  2017년 12월 26일 중식에 대한 결과값을 출력해줍니다.

이 코드를 실행하면, 매우 긴 html소스를 볼 수 있습니다.

여기서 우리가 원하는 식단만을 추출해야 합니다.

나이스 홈페이지에 들어가서 소스를 확인하면,

식단이 3번째 tr 태그 안에, td 태그 안에 있는것을 알 수 있습니다.

이를 바탕으로 코드를 추가해 줍시다.

import requests
from bs4 import BeautifulSoup
import re
 
 
def get_html(url):
   _html = ""
   resp = requests.get(url)
   if resp.status_code == 200:
      _html = resp.text
   return _html
 
 
def get_diet(code, ymd, weekday):
    schMmealScCode = code #int
    schYmd = ymd #str
    
    num = weekday + 1 #int 0월1화2수3목4금5토6일
    URL = (
            "http://stu.sen.go.kr/sts_sci_md01_001.do?"
            "schulCode=B100000519&schulCrseScCode=4&schulKndScCode=04"
            "&schMmealScCode=%d&schYmd=%s" % (schMmealScCode, schYmd)
        )
    html = get_html(URL)
    soup = BeautifulSoup(html, 'html.parser')
    element = soup.find_all("tr")
    element = element[2].find_all('td')
    try:
        element = element[num] #num
        element = str(element)
        element = element.replace('[', '')
        element = element.replace(']', '')
        element = element.replace('<br/>', '\n')
        element = element.replace('<td class="textC last">', '')
        element = element.replace('<td class="textC">', '')
        element = element.replace('</td>', '')
        element = element.replace('(h)', '')
        element = element.replace('.', '')
        element = re.sub(r"\d", "", element)
    except:
        element = " "
    return element
 

코드를 설명하면,

25~27: 아까 출력했던 html소스를 beautifulsoup에 넣어주고,

find_all()을 사용하여 tr태그를 추출하고, 추출한 tr태그들중 3번째에서 td태그를 추출합니다. 

이렇게 하면 식단표를 추출해낼 수 있습니다. 여기서 우리가 필요한 것은 1주일 식단이 아닌 하루 식단이기 때문에

29:우리가 요청하는 날짜의 요일번째수의 td태그의 내용을 추출하면 됩다.

(datetime 모듈을 이용하여 요일값을 구하고 +1을 해주면 된다.)

30~39: 불필요한 문자열들이 포함되어 있으므로 모두 제거해 주면 됩니다.

Github : https://github.com/M4ndU/school_meal_parser_python

---

파서 활용하기 : 

디스코드 챗봇 만들기

step1 바로가기 (http://mandu-mandu.tistory.com/64)

step2 바로가기 (http://mandu-mandu.tistory.com/65)

step3 바로가기 (http://mandu-mandu.tistory.com/66)

step4 바로가기 (http://mandu-mandu.tistory.com/91)

카카오톡 챗봇 만들기

step1 바로가기 (http://mandu-mandu.tistory.com/67)

step2 바로가기 (http://mandu-mandu.tistory.com/68)

디스코드 챗봇 소스 (https://github.com/M4ndU/inhun_discord_chat_bot_2)

카카오톡 챗봇 소스 (https://github.com/M4ndU/inhun_kakao_chat_bot_2)