딥러닝 허깅페이스 트랜스포머 with 파이토치 실습-2

이전 실습은 여기서 확인할 수 있다.

딥러닝 허깅페이스 트랜스포머 with 파이토치 실습-1

 

감성 분석 Sentiment Analysis

Distillbert 모델을 사용해서 감정을 분석하는 실습.

긍정과 부정을 판단해준다.

from transformers import pipeline
sentiment = pipeline('sentiment-analysis')

트랜스포머 라이브러리를 파이프라인 형식에 맞추어 'sentiment-analysis' 를 입력하고 인스턴스화 (실행) 시키면 아래와 같이 Distillbert 모델에 사전 학습된 감정 분석 기능이 불러와진다.

변수 'sentiment-analysis' 에 담긴 모델의 내용을 확인해봤다.

sentiment.model

감성 분석에 사용된 모델은 DistilBertForSequenceClassification

그리고 감정을 분석할 예시 문장을 모델에 적용시켜 보면

print(sentiment(["so cute"]))
print(sentiment(["귀여워"]))

같은 의미인데 한국어와 영어의 의미가 긍정/부정으로 갈리는 것을 보면...아무래도 한국어 지원이 제대로 되지 않는 모델인 것 같다.

label 에서 긍정과 부정 의미를 구별하고, score 에서 추론 시 딥러닝 모델이 어느 정도 확신하는가의 세기 혹은 강도 (strength) 를 나타낸다.

질의 응답 Question-Answering 

트랜스포머스 라이브러리에서 question-answering 파이프라인을 불러

from transformers import pipeline
qa = pipeline("question-answering")

방탄소년단의 진과 뷔가 디즈니+에서 리얼리티 쇼를 개봉한다는 기사이다.

기사에 대한 내용을 contents 에 담고, 언제 개봉하는지 질문 내용을 question 에 적은 뒤, 기사 내용인 contents 를 context 프로퍼티에 담아주면 

이렇게 추론에 대한 답을 해준다.

score 는 딥러닝 모델이 답변에 대한 확신 정도를 나타내고, start와 end는 답변의 기반이 되는 기사 내용의 위치이다.

이 모델도 무엇인지 확인해보면

qa.model

quesion-answering 파이프라인의 디폴트 모델은 DistilBertForQuesionAnswering 

출처

101가지 문제로 배우는 딥러닝 허깅페이스 트랜스포머 with 파이토치

101가지 문제로 배우는 딥러닝 허깅페이스 트랜스포머 with 파이토치 | 조슈아 K. 케이지 - 교보문