[인공지능] 자연어 처리 시스템의 이해와 실습 1일차

판교에 오랜만에 왔는데 예상 시간보다 다행히 많이 적게 걸려 일찍 도착했습니다.

Wifi - Kosta10 / akswhreh100

실습자료 - goo.gl/fonvMk

========================================  1  ========================================

[ 09 : 20~ 10 : 00 ] 

(OT로 인해 수업이 조금 늦어졌습니다.)

각 수강생의 간단한 소개와 수강목적을 확인하고 강의 수준 및 방향을 정한다고 하셨습니다.

오늘 강의는 대략적인 개론이 될 수 있다고 하셨습니다.

다음주 토요일에는 초빙강의식으로 진행을 한다고 하셨습니다.  < 기계학습(머신러닝) 기반 방법론>

음성인식과 언어처리 기술을 명확하게 분리해서 학습을 해야한다고 하셨습니다.

========================================  2  ========================================

[ 10 : 10~ 11 : 10 ] 

언어처리는 개발이 일단 끝나도, 정확하게 결과를 출력하는 경우가 적고 시장에서 사용시 개선이 필요한 경우가 있습니다. 그러한 것을 개선하는 끈기가 있고, 언어적 감수성을 바탕으로한 아이디어도 프로그램을 향상시키는데 필요하다고 하셨습니다.

사용자가 되어보지 않으면 개선에 대한 아이디어가 떠오르지 않을 수 있다고도 하셨습니다.

음성인식 정확도는 음절별로 초기에 체크를 했으나, 단어별로 체크를 하는 것이 보다 사람의 인지와 잘 맞는다는 것이 사용자의 입장입니다.

대화형 서비스는 ux가 중요하다는 이야기도 하셨고, 콜센터 관련 유투브 영상( Fujitsu Zinrai Call Center)을 시청하였습니다.

========================================  3  ========================================

[ 11 : 20~ 12 : 00 ] 

형태소 분석의 모호성에 대해 수업을 이어 하셨습니다.

=======================================  4, 5  =======================================

[ 13 : 00~ 14 : 50 ] 

실습 준비를 하고 수업을 이어서 하셨습니다.

언어데이터와 말뭉치 (Corpus)에 대해서 설명을 해 주셨습니다.

aiopen.etri.re.kr라는 사이트를 소개 해 주셨습니다.

mecab-ko 형태소 분석기 (https://bitbucket.org/eunjeon/mecab-ko-dic)

https://github.com/pusnow/mecab-ko-msvc/

쥬피터 실행기에서 cell 선택후 시프트키 + 엔터키 => 셀만 실행

<실습>

<사진 1> 설치명령

<사진 2> 쥬피터 노트북 실행

<사진 3> 사전 추가

<사진 4> 명령 수행1

윈도우 10 기준으로 파워쉘에서 명령을 수행해줍니다. 해당 작업중 위와 달리 Error가 발생하면 아래의 <사진 7>내용을 참고하시기 바랍니다.

<사진 5> 명령 수행2 과정

<사진 6> 쥬피터 노트북 실행

<사진 7> Error - 쥬피터 노트북 실행중이면 Error발생

위의 설정명령을 쥬피터 노트북을 실행하는중에 수행하면 위와같은 Error가 발생합니다.

쥬피터노트북을 종료하고 위의 명령을 진행하시기 바랍니다.

<사진 8> 사전 추가 후 정상적인 결과 확인 (태깅을 추가하여 품사도 맞게봄)

========================================  6  ========================================

[ 15 : 00~ 16 : 00 ] 

실습을 겨우 따라가느라 4,5교시 사이에 쉬지를 못했습니다. 실습을 모두 따라가고 커피한잔과 함께 남은 오후수업을 들으러 왔습니다.

기계번역은 자연어처리의 많은 기술들이 모여 만들어진 기술이라고 하셨습니다.

자연어 처리 기술에 대해 전반적인 모든 설명을 마쳤다고 하셨고, 그 이후 시스템에 대해 가볍게 들어보라고 하시면서 계속 수업을 진행하셨습니다.

소셜미디어분석 프로세스에 대해 강의를 이어가셨습니다.

온라인 미디어분석 서비스 (http://www.pulsek.com)예시입니다.

========================================  7  ========================================

[ 16 : 20~ 17 : 00 ] 

온라인 미디어분석 서비스 (http://www.pulsek.com)예시입니다.

위의 사이트는 활용을 하려면 계정이 필요한데, 강사님의 계정으로 간단히 최근 이슈가 된 , 취소가 된 북미 정상회담에 대해서 분석을 한 내용을 보여주셨습니다.

쳇봇에 관해 알아보고 쳇봇의 요소 기술에 대해 개략적으로 소개한 후, 각각의 기술요소(NLU, NLG 등...)들이 어떤것이며, 어떠한 것인지에 대해 소개를 해 주셨습니다.

========================================  8  ========================================

[ 17 : 10~ 18 : 00 ] 

 일부 강의자료를 넘기고 언어데이터 부분부터 설명을 해 주셨습니다.

 챗봇 실습을 간단히 실행 해 보고, 패턴 메칭에 대한 설명을 더 해주셨습니다.

실제로 패턴이 많아지면 하나의 입력이 여러개의 패턴에 매칭되는 경우도 있으며, 그러한 경우 도 높은 매칭도를 갖응 패턴을 활용한다거나 할 수 있다고 하셨습니다. 

CNNS 실습을 보여주셨습니다. 한가지 추가작업을 아나콘다 프롬프트에서 수행해야한다고 하셨습니다.

패턴만 많이 입력 해 주면 기계학습 방식이 더 편할 것 같지만 꼭 그런것은 아니라고 설명을 해 주셨습니다.

학습 데이터의 문제로, 강사님의 실습에서 해외송금 수수료를 의도하지 않았지만 문제가 있었습니다.

전통적인 방법론과 함께 활용할 것을 추천해주셨습니다.

<실습 2>

<사진 9> 챗봇 실행

<사진 10> 쳇봇용 패턴파일

<사진 11>  쳇봇용 패턴파일 내용

<사진 12>  응답문 파일 내용

<사진 13> 입력문 파일 내용

<사진 14> 실행 결과

<사진 15> 입력 추가 후 실행결과

<사진 16> cnns 준비

<사진 17> CNNS실습

<사진 18> Error나서 재확인

<사진 19>  Error나서 재확인2

<사진 20> cnns재실행 및 결과확인