딥러닝 허깅페이스 트랜스포머 with 파이토치 실습-1

구글 코랩

구글의 코랩 (colaboratory)에서는 컴퓨터의 os와 상관없이 제공되는 GPU를 사용해서 무료로 인공지능 모델을 적용시켜 볼 수 있다.

Google Colab

먼저 위 주소로 들어가 오른쪽 상단에 다시 연결 - 런타임 유형 변경

지금 나는 무료 버전이라 CPU와 T4 GPU, TPU v2 밖에 사용하지 못하지만

멘토님께서 T4 GPU와 A100 GPU 의 차이는 어마어마 하다고 하셨다.

성능은 T4 GPU < L4 GPU < A100 GPU 순

멘토님께서도 정기결제하시고 A100 GPU를 사용하신다고 하셨으니 추후 기회가 된다면 결제 후 사용해 봐야겠다. 

저장 후 이 상태가 되면 셋팅 완료

이제 python 코드를 직접 쳐서 shift + enter 로 실행 혹은

좌측 이 화살표를 클릭하여 실행 가능

이때 코드를 직접 적어도 되지만, github와 구글 코랩 혹은 허깅페이스에서 제공하는 기본 예제 코드들이 있으니 그걸 적용해도 된다.

101가지 문제로 배우는 딥러닝 허깅페이스 트랜스포머 with 파이토치 | 조슈아 K. 케이지 - 교보문

나는 이 교재를 사용해서 실습을 해보고 있어 

GitHub - jasonyim2/book3

이 예제 코드를 활용하였다.

허깅페이스 트랜스포머 란?

🤗 Transformers

허깅페이스의 트랜스포머는 자연어 처리를 위한 오픈소스 라이브러리 중 하나.

최신 딥러닝 모델을 사용하여 다양한 언어 관련 작업에 활용됨

간단한 사용법과 뛰어난 성능이 장점이다.

이러한 트랜스포머 라이브러리를 사용하기 위해서 맨 먼저 설치해줘야 함

!pip install transformers

설치되면 왼쪽 상단에 ✅ 체크 표시 뜸

import transformers
print(transformers.__version__)

설치 후 버전 확인하면 

이렇게 코드 바로 밑에 결과로 4.42.4 버전 인 것을 확인할 수 있다

인스턴스(instance) 란?

• 객체? 란
  • 데이터와 함수(메소드)의 집합
• 클래스? 란
  • 객체를 찍어내는 거푸집
• ex) 집을 짓는 경우, 설계도-클래스, 집-객체라고 할 수 있다. 좋은 설계도(클래스)를 이용해서 옵션에 조금씩 차이가 있는 집(객체)을 만들 수 있다. 즉, 클래스를 사용하면 약간의 변형된 다향한 객체를 생성할 수 있다.
• 인스턴스? 란
  • 클래스(거푸집)을 통해 만든 객체(집)를 인스턴스라고 함
  • 하나의 설계도(클래스)로 만든 특정 집이 객체이자 인스턴스
  • 이렇게 클래스로 객체를 만드는 과정을 인스턴스화 라고 함

출처

101가지 문제로 배우는 딥러닝 허깅페이스 트랜스포머 with 파이토치

101가지 문제로 배우는 딥러닝 허깅페이스 트랜스포머 with 파이토치 | 조슈아 K. 케이지 - 교보문