이전에 배운 내용을 토대로 간단한 형태의 챗봇을 구현하였다. 문장을 생성하는 알고리즘은 마르코브체인을 이용한 확률기반형 코드를 이용하였고 cgi모듈을 이용한 웹상에서 챗봇과 대화하는 환경을 구현하였다.
사지방 컴퓨터 환경이 재부팅 할떄마다 초기화되어 이제부터 실제로 구현하는것 보다는 이론과 코드분석 중심으로 공부를 해야겠다.
chatbot.py
#!/usr/bin/env python3
import cgi
from botengine import make_reply
# 입력 양식의 글자 추출하기 --- (※1)
form = cgi.FieldStorage()
# 메인 처리 --- (※2)
def main():
m = form.getvalue("m", default="")
if m == "" : show_form()
elif m == "say" : api_say()
웹상과 파이썬 파일을 연결(?) 해주는 모듈이라 이해하였다. 자바스크립트와 웹네트워크는 잘 모르는지라... botengine.py의 make_reply함수를 이용하여 챗봇의 대답을 생성하였다 cgi.Fieldstorage()함수는 웹상에서 입력된 데이터를 form에 저장하여 이후 form.getvalue() 함수에서 그 값을 반환받는다.
받아온 "m"이 아무것도 없다면 html코드를 보여주고 있다면 그에 맞는 대답을 하게된다.
# 사용자의 입력에 응답하기 --- (※3)
def api_say():
print("Content-Type: text/plain; charset=utf-8")
print("")
txt = form.getvalue("txt", default="")
if txt == "": return
res = make_reply(txt)
print(res)botengine.py에서 문장이 생성되고 문장을 받아와 출력하는 함수이다.
# 입력 양식 출력하기 --- (※4)
def show_form():
print("Content-Type: text/html; charset=utf-8")
print("")
print("""
<html><meta charset="utf-8"><body>
<script src="https://code.jquery.com/jquery-3.1.1.min.js"></script>
<style>
h1 { background-color: #ffe0e0; }
div { padding:10px; }
span { border-radius: 10px; background-color: #ffe0e0; padding:8px; }
.bot { text-align: left; }
.usr { text-align: right; }
</style>
<h1>대화하기</h1>
<div id="chat"></div>
<div class='usr'><input id="txt" size="40">
<button onclick="say()">전송</button></div>
<script>
var url = "./chatbot.py";
function say() {
var txt = $('#txt').val();
$.get(url, {"m":"say","txt":txt},
function(res) {
var html = "<div class='usr'><span>" + esc(txt) +
"</span>: 나</div><div class='bot'> 봇:<span>" +
esc(res) + "</span></div>";
$('#chat').html($('#chat').html()+html);
$('#txt').val('').focus();
});
}
function esc(s) {
return s.replace('&', '&').replace('<','<')
.replace('>', '>');
}
</script></body></html>
""")
main()챗봇대화환경인 웹을 구성하는 html코드이다. 블랭크에 텍스트를 치면 그에 맞는 대답을 하게 되있다. 이후 main()함수가 처리된다.
botengine.py
import codecs
from bs4 import BeautifulSoup
import urllib.request
from konlpy.tag import Twitter
import os, re, json, random
dict_file = "chatbot-data.json"
dic = {}
twitter = Twitter()
# 딕셔너리에 단어 등록하기 --- (※1)
def register_dic(words):
global dic
if len(words) == 0: return
tmp = ["@"]
for i in words:
word = i[0]
if word == "" or word == "\r\n" or word == "\n": continue
tmp.append(word)
if len(tmp) < 3: continue
if len(tmp) > 3: tmp = tmp[1:]
set_word3(dic, tmp)
if word == "." or word == "?":
tmp = ["@"]
continue
# 딕셔너리가 변경될 때마다 저장하기
json.dump(dic, open(dict_file,"w", encoding="utf-8"))
# 딕셔너리에 글 등록하기
def set_word3(dic, s3):
w1, w2, w3 = s3
if not w1 in dic: dic[w1] = {}
if not w2 in dic[w1]: dic[w1][w2] = {}
if not w3 in dic[w1][w2]: dic[w1][w2][w3] = 0
dic[w1][w2][w3] += 1
# 문장 만들기 --- (※2)
def make_sentence(head):
if not head in dic: return ""
ret = []
if head != "@": ret.append(head)
top = dic[head]
w1 = word_choice(top)
w2 = word_choice(top[w1])
ret.append(w1)
ret.append(w2)
while True:
if w1 in dic and w2 in dic[w1]:
w3 = word_choice(dic[w1][w2])
else:
w3 = ""
ret.append(w3)
if w3 == "." or w3 == "？ " or w3 == "": break
w1, w2 = w2, w3
ret = "".join(ret)
# 띄어쓰기
params = urllib.parse.urlencode({
"_callback": "",
"q": ret
})
# 네이버 맞춤법 검사기를 사용합니다.
data = urllib.request.urlopen("https://m.search.naver.com/p/csearch/ocontent/util/SpellerProxy?" + params)
data = data.read().decode("utf-8")[1:-2]
data = json.loads(data)
data = data["message"]["result"]["html"]
data = soup = BeautifulSoup(data, "html.parser").getText()
# 리턴
return data
def word_choice(sel):
keys = sel.keys()
return random.choice(list(keys))
# 챗봇 응답 만들기 --- (※3)
def make_reply(text):
# 단어 학습시키기
if not text[-1] in [".", "?"]: text += "."
words = twitter.pos(text)
register_dic(words)
# 사전에 단어가 있다면 그것을 기반으로 문장 만들기
for word in words:
face = word[0]
if face in dic: return make_sentence(face)
return make_sentence("@")
# 딕셔너리가 있다면 읽어 들이기
if os.path.exists(dict_file):
dic = json.load(open(dict_file,"r"))
위의 코드는 이전에 마르코프체인을 이용한 문장생성에서 공부한적이 있기 떄문에 설명은 생략 하겠다.
'Machine Learning > 챗봇 만들기' 카테고리의 다른 글
| RNN 그리고 LSTM 그리고 문장만들 (0) | 2020.07.09 |
|---|---|
| 마르코프 체인으로 문장 생성하기 (0) | 2020.07.08 |
| 레벨슈타인 거리를 계산 ＆ N - gram으로 유사도 구하기 (0) | 2020.07.03 |
