통합검색

검색

  • IT 자격증 수험서
    • 워드프로세서
    • 컴퓨터활용능력
    • 정보처리/사무자동화/정보기기
    • ITQ
    • GTQ
    • 컴퓨터그래픽스
    • 웹디자인
  • 실용 자격증 수험서
    • 한국사
    • 조리/제과/운전면허
    • 기타
  • IT 도서
    • 컴퓨터 일반/활용
    • 사무자동화(OA)
    • 웹/홈페이지
    • 그래픽/멀티미디어
    • 프로그래밍
    • 컴퓨터공학
    • 어린이 교재
  • 단행본 도서
    • 가정과 생활
    • 유아/아동
    • 기타
  • 시리즈
    • 더 쉽게 배우기
    • 환상의 콤비
    • 눈이 편한
    • 속전속결
    • 비주얼(Visual)
    • 학교에서 통하는
    • 이게 진짜

기타 프로그래밍

HOME 도서정보 IT 도서 프로그래밍

New 트랜스포머로 시작하는 자연어 처리 저자 Denis Rothman | 페이지 648
ISBN 9788931475869 | 정가 42,000 | 출판일 2024-07-02
판매처

부록CD

도서소개

이 책은 자연어 처리(Natural Language Processing, NLP)와 트랜스포머(transformer) 모델의 혁신적 발전을 심도 있게 탐구합니다. 자연어 이해(Natural Language Understanding, NLU)를 위한 언어 모델링, 챗봇, 텍스트 요약, 음성 인식, 기계 번역 등의 응용 분야에서 트랜스포머 모델의 역할은 중요합니다. 특히, BERT와 GPT-3와 같은 모델들이 RNN과 CNN을 대체하며 더 높은 성능을 보이는 과정을 상세히 설명합니다.

트랜스포머의 셀프-어텐션 메커니즘과 병렬 처리 능력은 대규모 데이터 학습을 가능하게 하며, 이는 NLP 작업의 판도를 바꾸고 있습니다. 이 책은 파이썬, 파이토치, 텐서플로우 등의 도구를 사용하여 언어 이해의 핵심 요소를 다루고, 다양한 트랜스포머 모델의 아키텍처를 분석합니다. 또한 GPT-4와 같은 대규모 모델의 학습과 응용을 통해 AI의 최신 동향을 파악할 수 있습니다.

저자소개

■ 저자 소개
Denis Rothman
소르본 대학(Sorbonne University)과 파리 디드로 대학(Paris Diderot University)을 졸업하고 최초의 특허를 받은 인코딩 및 임베딩 시스템을 설계했습니다. 모엣샹동(Moët et Chandon, 프랑스의 포도주 회사)에서 자연어 처리(NLP, Natural Language Processing) 챗봇과 에어버스(구 Aerospatiale, 유럽의 항공기 제작 회사)의 인공지능 전술 방어 최적화 프로그램을 개발하며 경력을 쌓았습니다.
그 후 IBM 및 명품 브랜드에 인공지능 자원 최적화 프로그램을 담당하며 전 세계적으로 사용되는 사전 계획 및 스케줄링(APS, Advanced Planning and Scheduling) 솔루션으로 발전시켰습니다.

■ 역자 소개
김윤기
수학을 전공했으나 졸업 후엔 인공지능과 관련된 코드를 읽고 쓰는 일을 했습니다. 특히 머신러닝 기반의 자연어 처리, 추천시스템과 관련된 업무를 담당했습니다. 현재는 국내 테니스 유저들의 테니스 매칭을 돕기 위해 스매시에서 개발을 하고 있습니다.

박지성
울산과학기술원에서 컴퓨터공학을 전공하고 같은 학교의 BCI 연구실에서 석사 학위를 받았습니다. 졸업 이후에는 자연어 분석, 모델 개발 등의 업무를 해오고 있습니다. 현재는 네이버에서 미디어 데이터를 다루고 관련 AI 모델을 개발하는 일을 하고 있습니다.

임창대
성균관대학교에서 컴퓨터공학을 전공하고 자연어 분석, AI 서비스 개발 등의 업무를 해오고 있습니다. 현재는 농업 플랫폼 스타트업인 그린랩스에서 머신러닝 엔지니어로 근무하고 있습니다.

하헌규
한동대학교에서 컴퓨터공학을 전공하고, 인공지능에 대한 관심으로 GIST에 진학하여 석사 학위를 받았습니다. 이후 자연어 처리와 관련한 다양한 프로젝트를 경험했습니다. 현재는 네이버에서 인공지능을 활용한 서비스를 만들기 위해 노력 중입니다.

목차

1장 트랜스포머란 무엇인가?
1.1 트랜스포머 생태계
1.2 트랜스포머로 NLP 모델 최적화
1.3 어떤 리소스를 사용해야 하나요?
1.4 정리하기
1.5 문제
1.6 참고 문헌

2장 트랜스포머 모델 아키텍처 살펴보기
2.1 트랜스포머의 시작: Attention is All You Need
2.2 학습과 성능
2.3 허깅페이스의 트랜스포머 모델
2.4 정리하기
2.5 문제
2.6 참고 문헌

3장 BERT 모델 미세 조정하기
3.1 BERT 아키텍처
3.2 BERT 미세 조정하기
3.3 정리하기
3.4 문제
3.5 참고 문헌

4장 RoBERTa 모델 처음부터 사전 학습하기
4.1 토크나이저 학습하기 및 트랜스포머 사전 학습하기
4.2 처음부터 KantaiBERT 구축하기
4.3 다음 단계
4.4 정리하기
4.5 문제
4.6 참고 문헌

5장 RoBERTa 모델 처음부터 사전 학습하기
5.1 트랜스포머의 트랜스덕션과 귀납적 상속
5.2 트랜스포머 성능 vs 인간 기준값
5.3 다운스트림 작업 실행하기
5.4 정리하기
5.5 문제
5.6 참고 문헌

6장 트랜스포머를 사용한 기계 번역
6.1 기계 번역 정의하기
6.2 WMT 데이터셋 전처리하기
6.3 BLEU로 기계 번역 평가하기
6.4 구글 번역으로 번역하기
6.5 트랙스로 번역하기
6.6 정리하기
6.7 문제
6.8 참고 문헌

7장 GPT-3 엔진을 사용한 초인간 트랜스포머 등장
7.1 GPT-3 트랜스포머 모델을 사용한 초인간 NLP
7.2 OpenAI GPT 트랜스포머 모델의 아키텍처
7.3 GPT-2를 사용한 일반 텍스트 완성
7.4 커스텀 GPT-2 언어 모델 학습
7.5 OpenAI GPT-3 작업 실행하기
7.6 GPT-2와 GPT-3의 출력 비교하기
7.7 GPT-3 미세 조정하기
7.8 4차 산업혁명 AI 전문가의 역할
7.9 정리하기
7.10 문제
7.11 참고 문헌

8장 법률 및 금융 문서에 트랜스포머를 적용하여 요약하기
8.1 범용 텍스트 투 텍스트 모델 디자인하기
8.2 T5를 사용해 요약하기
8.3 GPT-3로 요약하기
8.4 정리하기
8.5 문제
8.6 참고 문헌

9장 데이터셋에 적합한 토크나이저
9.1 데이터셋에 적합한 토크나이저
9.2 특정 어휘가 포함된 표준 NLP 작업
9.3 GPT-3의 범위 살펴보기
9.4 정리하기
9.5 문제
9.6 참고 문헌

10장 BERT 기반 트랜스포머를 사용한 SRL
10.1 SRL(Semantic Role Labeling, 의미역 결정)
10.2 BERT 기반 모델을 사용한 SRL 실험
10.3 기본 예시
10.4 어려운 예시
10.5 SRL 적용 범위에 대한 의문
10.6 정리하기
10.7 문제
10.8 참고 문헌

11장 데이터가 말하게 하기: 스토리, 질문, 답변
11.1 방법론
11.2 방법 0: 시행착오
11.3 방법 1: NER
11.4 방법 2: SRL
11.5 다음 단계
11.6 정리하기
11.7 문제
11.8 참고 문헌

12장 고객 감정을 감지해 예측하기
12.1 SST(Stanford Sentiment Treebank)
12.2 감성 분석으로 고객 행동 예측하기
12.3 GPT-3를 사용한 감성 분석
12.4 4차 산업 시대에 관한 몇 가지 생각
12.5 정리하기
12.6 문제
12.7 참고 문헌

13장 트랜스포머로 가짜 뉴스 분석하기
13.1 가짜 뉴스에 대한 감정 반응
13.2 가짜 뉴스에 대한 이성적 접근법
13.3 마치기 전에
13.4 정리하기
13.5 문제
13.6 참고 문헌

14장 블랙박스 트랜스포머 모델 해석하기
14.1 BertViz로 트랜스포머 시각화하기
14.2 LIT
14.3 딕셔너리 러닝을 활용한 트랜스포머 시각화
14.4 내부를 볼 수 없는 모델 분석하기
14.5 정리하기
14.6 문제
14.7 참고 문헌

15장 NLP부터 범용 트랜스포머 모델까지
15.1 모델과 생태계 선택하기
15.2 리포머
15.3 DeBERTa
15.4 범용 모델에서 비전 트랜스포머까지
15.5 확장되는 모델 세계
15.6 정리하기
15.7 문제
15.8 참고 문헌

16장 트랜스포머 기반 코파일럿의 등장
16.1 프롬프트 엔지니어링
16.2 코파일럿
16.3 도메인별 GPT-3 엔진
16.4 컴퓨터 비전
16.5 메타버스에서 인간과 AI 코파일럿
16.6 정리하기
16.7 문제
16.8 참고 문헌

17장 초인간 트랜스포머를 사용한 OpenAI의 ChatGPT와 GPT-4
17.1 ChatGPT와 GPT-4에 초인간 NLP 연동하기
17.2 ChatGPT API 시작하기
17.3 ChatGPT Plus로 코드와 주석 작성하기
17.4 GPT-4 API 시작하기
17.5 고급 프롬프트 엔지니어링
17.6 설명 가능한 AI(XAI)
17.7 DALL-E 2 API 시작하기
17.8 모든 것을 종합하기
17.9 정리하기
17.10 문제
17.11 참고 문헌

부록 Ⅰ 트랜스포머 용어 설명
Ⅰ.1 스택
Ⅰ.2 서브 층
Ⅰ.3 어텐션 헤드

부록 Ⅱ 트랜스포머 모델의 하드웨어 제약사항
Ⅱ.1 트랜스포머의 아키텍처와 규모
Ⅱ.2 GPU가 특별한 이유
Ⅱ.3 GPU는 병렬 연산을 위해 설계되었다
Ⅱ.4 GPU는 또한 행렬 곱셈을 위해 설계되었다
Ⅱ.5 GPU를 사용하는 코드
Ⅱ.6 구글 코랩으로 GPU 테스트하기
Ⅱ.7 구글 코랩의 무료 CPU
Ⅱ.8 구글 코랩의 유료 CPU

부록 Ⅲ GPT-2를 사용한 일반 텍스트 완성
Ⅲ.1 1단계: GPU 활성화
Ⅲ.2 2단계: OpenAI GPT-2 저장소 복제하기
Ⅲ.3 3단계: 요구사항 설치하기
Ⅲ.4 4단계: 텐서플로우 버전 확인하기
Ⅲ.5 5단계: 345M 파라미터 GPT-2 모델 다운로드하기
Ⅲ.6 6~7단계: 중간 지침
Ⅲ.7 7b~8단계: 모델 가져오기 및 정의하기
Ⅲ.8 9단계: GPT-2와 상호 작용하기
Ⅲ.9 참고 문헌

부록 Ⅳ GPT-2를 사용해 커스텀 텍스트 완성하기
Ⅳ.1 GPT-2 모델 학습하기
Ⅳ.2 참고 문헌

부록 Ⅴ 문제 정답

찾아보기

목록