Ubuntu 16.04.3과 Python 3.5.2를 사용하였습니다.
(추후 이 파서를 사용하여 디스코드 봇을 만들때 사용되는 discord.py의 요구사항이 Python 3.4 이상이기 때문)
먼저, Beautifulsoup를 설치해 줍니다.
$pip3 install Beautifulsoup4
급식데이터를 추출할 페이지를 골라야 하는데요.
나이스 홈페이지 또는 해당 학교홈페이지에서 급식데이터를 가져올 수 있습니다.
그러나 학교홈페이지를 이용할 경우 학교홈페이지마다 구조가 약간씩 다르기 때문에,
나이스 홈페이지를 사용하여 진행하도록 하겠습니다.
그럼, 우리에게 필요한 URL을 구해보겠습니다.
(각자의 조건에 맞게 구하세요.)
1. 교육청 주소
나이스 학생서비스(https://stu.use.go.kr/) <----- 이동해 줍니다.
상단에 OOO교육청 이동하기를 통해 자신의 학교가 속한 교육청으로 이동해줍니다.
그리고 URL을 확인합니다. (ex 서울특별시교육청 : https://stu.sen.go.kr)
2. 학교고유코드
나의생활 > 학교안내 > 기본정보 에서 자신의 학교를 검색하고
해당 페이지의 쿠키값을 확인하면 우리에게 필요한 값들을 얻을 수 있습니다.
schulCode=B100000519 #우리가 검색한 학교의 고유 코드이다.
schulKndScCode=04 #01은 유치원, 02는 초등학교, 03은 중학교, 04는 고등학교를 의미한다.
schulCrseScCode=4 #1은 유치원, 2는 초등학교, 3은 중학교, 4는 고등학교를 의미한다.
쿠키값은 EditThisCookie 라는 크롬 확장프로그램을 사용하시면 됩니다.
3. 정확한 주소 구하기
우리는 주간식단 페이지에서 식단을 추출할 것이기에 주간식단 주소를 구해줍니다.
주간식단 주소 : /sts_sci_md01_001.do
이 주소 뒤에 쿼리값으로 위에서 구한 값들과, 아래 값을 담아 보내면 됩니다.
schMmealScCode=2 #1 조식, 2 중식, 3 석식
schYmd=2018.1.1 #2018년 1월 1일이 포함된 한 주(week), '.(점)'주의
4. 주소 확인하기
예시
http://stu.sen.go.kr/sts_sci_md01_001.do?schulCode=B100000519&schulCrseScCode=4&schulKndScCode=04&schMmealScCode=2&schYmd=2017.12.26
위와 같이 자신이 구한 주소를 요청하였을때, 자신이 적은 날짜(schYmd의 값)가 포함된 그 주의 식단이 표시되면 됩니다.
이제 코드를 작성해 봅시다.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 | import requests from bs4 import BeautifulSoup def get_html(url): _html = "" resp = requests.get(url) if resp.status_code == 200: _html = resp.text return _html def get_diet(code, ymd, weekday): schMmealScCode = code #int schYmd = ymd #str URL = ( "http://stu.sen.go.kr/sts_sci_md01_001.do?" "schulCode=B100000519&schulCrseScCode=4&schulKndScCode=04" "&schMmealScCode=%d&schYmd=%s" % (schMmealScCode, schYmd) ) html = get_html(URL) element = html return element
| cs |
나중에 사용하기 편하게 하기 위해 함수로 만들어 주었습니다.
get_html(url)은 해당 페이지의 html소스를 출력해 주는 함수입니다.
이 소스 하단에
| diet = get_diet(2, "2017.12.26") print(diet) | cs |
를 추가하면 2017년 12월 26일 중식에 대한 결과값을 출력해줍니다.
이 코드를 실행하면, 매우 긴 html소스를 볼 수 있습니다.
여기서 우리가 원하는 식단만을 추출해야 합니다.
나이스 홈페이지에 들어가서 소스를 확인하면,
식단이 3번째 tr 태그 안에, td 태그 안에 있는것을 알 수 있습니다.
이를 바탕으로 코드를 추가해 줍시다.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 | import requests from bs4 import BeautifulSoup import re def get_html(url): _html = "" resp = requests.get(url) if resp.status_code == 200: _html = resp.text return _html def get_diet(code, ymd, weekday): schMmealScCode = code #int schYmd = ymd #str num = weekday + 1 #int 0월1화2수3목4금5토6일 URL = ( "http://stu.sen.go.kr/sts_sci_md01_001.do?" "schulCode=B100000519&schulCrseScCode=4&schulKndScCode=04" "&schMmealScCode=%d&schYmd=%s" % (schMmealScCode, schYmd) ) html = get_html(URL) soup = BeautifulSoup(html, 'html.parser') element = soup.find_all("tr") element = element[2].find_all('td') try: element = element[num] #num element = str(element) element = element.replace('[', '') element = element.replace(']', '') element = element.replace('<br/>', '\n') element = element.replace('<td class="textC last">', '') element = element.replace('<td class="textC">', '') element = element.replace('</td>', '') element = element.replace('(h)', '') element = element.replace('.', '') element = re.sub(r"\d", "", element) except: element = " " return element | cs |
코드를 설명하면,
25~27: 아까 출력했던 html소스를 beautifulsoup에 넣어주고,
find_all()을 사용하여 tr태그를 추출하고, 추출한 tr태그들중 3번째에서 td태그를 추출합니다.
이렇게 하면 식단표를 추출해낼 수 있습니다. 여기서 우리가 필요한 것은 1주일 식단이 아닌 하루 식단이기 때문에
29:우리가 요청하는 날짜의 요일번째수의 td태그의 내용을 추출하면 됩다.
(datetime 모듈을 이용하여 요일값을 구하고 +1을 해주면 된다.)
30~39: 불필요한 문자열들이 포함되어 있으므로 모두 제거해 주면 됩니다.
Github : https://github.com/M4ndU/school_meal_parser_python
파서 활용하기 :
디스코드 챗봇 만들기
step1 바로가기 (http://mandu-mandu.tistory.com/64)
step2 바로가기 (http://mandu-mandu.tistory.com/65)
step3 바로가기 (http://mandu-mandu.tistory.com/66)
step4 바로가기 (http://mandu-mandu.tistory.com/91)
카카오톡 챗봇 만들기
step1 바로가기 (http://mandu-mandu.tistory.com/67)
step2 바로가기 (http://mandu-mandu.tistory.com/68)
디스코드 챗봇 소스 (https://github.com/M4ndU/inhun_discord_chat_bot_2)
카카오톡 챗봇 소스 (https://github.com/M4ndU/inhun_kakao_chat_bot_2)
