HOME µµ¼Á¤º¸ IT µµ¼ ÇÁ·Î±×·¡¹Ö
ÀÌ Ã¥Àº ÀÚ¿¬¾î ó¸®(Natural Language Processing, NLP)¿Í Æ®·£½ºÆ÷¸Ó(transformer) ¸ðµ¨ÀÇ Çõ½ÅÀû ¹ßÀüÀ» ½Éµµ ÀÖ°Ô Å½±¸ÇÕ´Ï´Ù. ÀÚ¿¬¾î ÀÌÇØ(Natural Language Understanding, NLU)¸¦ À§ÇÑ ¾ð¾î ¸ðµ¨¸µ, 꺿, ÅؽºÆ® ¿ä¾à, À½¼º ÀνÄ, ±â°è ¹ø¿ª µîÀÇ ÀÀ¿ë ºÐ¾ß¿¡¼ Æ®·£½ºÆ÷¸Ó ¸ðµ¨ÀÇ ¿ªÇÒÀº Áß¿äÇÕ´Ï´Ù. ƯÈ÷, BERT¿Í GPT-3¿Í °°Àº ¸ðµ¨µéÀÌ RNN°ú CNNÀ» ´ëüÇÏ¸ç ´õ ³ôÀº ¼º´ÉÀ» º¸ÀÌ´Â °úÁ¤À» »ó¼¼È÷ ¼³¸íÇÕ´Ï´Ù.
Æ®·£½ºÆ÷¸ÓÀÇ ¼¿ÇÁ-¾îÅÙ¼Ç ¸ÞÄ¿´ÏÁò°ú º´·Ä ó¸® ´É·ÂÀº ´ë±Ô¸ð µ¥ÀÌÅÍ ÇнÀÀ» °¡´ÉÇÏ°Ô Çϸç, ÀÌ´Â NLP ÀÛ¾÷ÀÇ Æǵµ¸¦ ¹Ù²Ù°í ÀÖ½À´Ï´Ù. ÀÌ Ã¥Àº ÆÄÀ̽ã, ÆÄÀÌÅäÄ¡, ÅÙ¼ÇÃ·Î¿ì µîÀÇ µµ±¸¸¦ »ç¿ëÇÏ¿© ¾ð¾î ÀÌÇØÀÇ ÇÙ½É ¿ä¼Ò¸¦ ´Ù·ç°í, ´Ù¾çÇÑ Æ®·£½ºÆ÷¸Ó ¸ðµ¨ÀÇ ¾ÆÅ°ÅØó¸¦ ºÐ¼®ÇÕ´Ï´Ù. ¶ÇÇÑ GPT-4¿Í °°Àº ´ë±Ô¸ð ¸ðµ¨ÀÇ ÇнÀ°ú ÀÀ¿ëÀ» ÅëÇØ AIÀÇ ÃֽŠµ¿ÇâÀ» ÆľÇÇÒ ¼ö ÀÖ½À´Ï´Ù.
¡á ÀúÀÚ ¼Ò°³
Denis Rothman
¼Ò¸£º» ´ëÇÐ(Sorbonne University)°ú Æĸ® µðµå·Î ´ëÇÐ(Paris Diderot University)À» Á¹¾÷ÇÏ°í ÃÖÃÊÀÇ Æ¯Ç㸦 ¹ÞÀº ÀÎÄÚµù ¹× ÀÓº£µù ½Ã½ºÅÛÀ» ¼³°èÇß½À´Ï´Ù. ¸ð¿§¼§µ¿(Moët et Chandon, ÇÁ¶û½ºÀÇ Æ÷µµÁÖ È¸»ç)¿¡¼ ÀÚ¿¬¾î ó¸®(NLP, Natural Language Processing) 꺿°ú ¿¡¾î¹ö½º(±¸ Aerospatiale, À¯·´ÀÇ Ç×°ø±â Á¦ÀÛ È¸»ç)ÀÇ ÀΰøÁö´É Àü¼ú ¹æ¾î ÃÖÀûÈ ÇÁ·Î±×·¥À» °³¹ßÇÏ¸ç °æ·ÂÀ» ½×¾Ò½À´Ï´Ù.
±× ÈÄ IBM ¹× ¸íÇ° ºê·£µå¿¡ ÀΰøÁö´É ÀÚ¿ø ÃÖÀûÈ ÇÁ·Î±×·¥À» ´ã´çÇϸç Àü ¼¼°èÀûÀ¸·Î »ç¿ëµÇ´Â »çÀü °èȹ ¹× ½ºÄÉÁÙ¸µ(APS, Advanced Planning and Scheduling) ¼Ö·ç¼ÇÀ¸·Î ¹ßÀü½ÃÄ×½À´Ï´Ù.
¡á ¿ªÀÚ ¼Ò°³
±èÀ±±â
¼öÇÐÀ» Àü°øÇßÀ¸³ª Á¹¾÷ ÈÄ¿£ ÀΰøÁö´É°ú °ü·ÃµÈ Äڵ带 ÀÐ°í ¾²´Â ÀÏÀ» Çß½À´Ï´Ù. ƯÈ÷ ¸Ó½Å·¯´× ±â¹ÝÀÇ ÀÚ¿¬¾î ó¸®, Ãßõ½Ã½ºÅÛ°ú °ü·ÃµÈ ¾÷¹«¸¦ ´ã´çÇß½À´Ï´Ù. ÇöÀç´Â ±¹³» Å״Ͻº À¯ÀúµéÀÇ Å״Ͻº ¸ÅĪÀ» µ½±â À§ÇØ ½º¸Å½Ã¿¡¼ °³¹ßÀ» ÇÏ°í ÀÖ½À´Ï´Ù.
¹ÚÁö¼º
¿ï»ê°úÇбâ¼ú¿ø¿¡¼ ÄÄÇ»ÅÍ°øÇÐÀ» Àü°øÇÏ°í °°Àº Çб³ÀÇ BCI ¿¬±¸½Ç¿¡¼ ¼®»ç ÇÐÀ§¸¦ ¹Þ¾Ò½À´Ï´Ù. Á¹¾÷ ÀÌÈÄ¿¡´Â ÀÚ¿¬¾î ºÐ¼®, ¸ðµ¨ °³¹ß µîÀÇ ¾÷¹«¸¦ ÇØ¿À°í ÀÖ½À´Ï´Ù. ÇöÀç´Â ³×À̹ö¿¡¼ ¹Ìµð¾î µ¥ÀÌÅ͸¦ ´Ù·ç°í °ü·Ã AI ¸ðµ¨À» °³¹ßÇÏ´Â ÀÏÀ» ÇÏ°í ÀÖ½À´Ï´Ù.
ÀÓâ´ë
¼º±Õ°ü´ëÇб³¿¡¼ ÄÄÇ»ÅÍ°øÇÐÀ» Àü°øÇÏ°í ÀÚ¿¬¾î ºÐ¼®, AI ¼ºñ½º °³¹ß µîÀÇ ¾÷¹«¸¦ ÇØ¿À°í ÀÖ½À´Ï´Ù. ÇöÀç´Â ³ó¾÷ Ç÷§Æû ½ºÅ¸Æ®¾÷ÀÎ ±×¸°·¦½º¿¡¼ ¸Ó½Å·¯´× ¿£Áö´Ï¾î·Î ±Ù¹«ÇÏ°í ÀÖ½À´Ï´Ù.
ÇÏÇå±Ô
Çѵ¿´ëÇб³¿¡¼ ÄÄÇ»ÅÍ°øÇÐÀ» Àü°øÇÏ°í, ÀΰøÁö´É¿¡ ´ëÇÑ °ü½ÉÀ¸·Î GIST¿¡ ÁøÇÐÇÏ¿© ¼®»ç ÇÐÀ§¸¦ ¹Þ¾Ò½À´Ï´Ù. ÀÌÈÄ ÀÚ¿¬¾î ó¸®¿Í °ü·ÃÇÑ ´Ù¾çÇÑ ÇÁ·ÎÁ§Æ®¸¦ °æÇèÇß½À´Ï´Ù. ÇöÀç´Â ³×À̹ö¿¡¼ ÀΰøÁö´ÉÀ» È°¿ëÇÑ ¼ºñ½º¸¦ ¸¸µé±â À§ÇØ ³ë·Â ÁßÀÔ´Ï´Ù.
1Àå Æ®·£½ºÆ÷¸Ó¶õ ¹«¾ùÀΰ¡?
1.1 Æ®·£½ºÆ÷¸Ó »ýÅ°è
1.2 Æ®·£½ºÆ÷¸Ó·Î NLP ¸ðµ¨ ÃÖÀûÈ
1.3 ¾î¶² ¸®¼Ò½º¸¦ »ç¿ëÇØ¾ß Çϳª¿ä?
1.4 Á¤¸®Çϱâ
1.5 ¹®Á¦
1.6 Âü°í ¹®Çå
2Àå Æ®·£½ºÆ÷¸Ó ¸ðµ¨ ¾ÆÅ°ÅØó »ìÆ캸±â
2.1 Æ®·£½ºÆ÷¸ÓÀÇ ½ÃÀÛ: Attention is All You Need
2.2 ÇнÀ°ú ¼º´É
2.3 Çã±ëÆäÀ̽ºÀÇ Æ®·£½ºÆ÷¸Ó ¸ðµ¨
2.4 Á¤¸®Çϱâ
2.5 ¹®Á¦
2.6 Âü°í ¹®Çå
3Àå BERT ¸ðµ¨ ¹Ì¼¼ Á¶Á¤Çϱâ
3.1 BERT ¾ÆÅ°ÅØó
3.2 BERT ¹Ì¼¼ Á¶Á¤Çϱâ
3.3 Á¤¸®Çϱâ
3.4 ¹®Á¦
3.5 Âü°í ¹®Çå
4Àå RoBERTa ¸ðµ¨ óÀ½ºÎÅÍ »çÀü ÇнÀÇϱâ
4.1 ÅäÅ©³ªÀÌÀú ÇнÀÇÏ±â ¹× Æ®·£½ºÆ÷¸Ó »çÀü ÇнÀÇϱâ
4.2 óÀ½ºÎÅÍ KantaiBERT ±¸ÃàÇϱâ
4.3 ´ÙÀ½ ´Ü°è
4.4 Á¤¸®Çϱâ
4.5 ¹®Á¦
4.6 Âü°í ¹®Çå
5Àå RoBERTa ¸ðµ¨ óÀ½ºÎÅÍ »çÀü ÇнÀÇϱâ
5.1 Æ®·£½ºÆ÷¸ÓÀÇ Æ®·£½º´ö¼Ç°ú ±Í³³Àû »ó¼Ó
5.2 Æ®·£½ºÆ÷¸Ó ¼º´É vs Àΰ£ ±âÁØ°ª
5.3 ´Ù¿î½ºÆ®¸² ÀÛ¾÷ ½ÇÇàÇϱâ
5.4 Á¤¸®Çϱâ
5.5 ¹®Á¦
5.6 Âü°í ¹®Çå
6Àå Æ®·£½ºÆ÷¸Ó¸¦ »ç¿ëÇÑ ±â°è ¹ø¿ª
6.1 ±â°è ¹ø¿ª Á¤ÀÇÇϱâ
6.2 WMT µ¥ÀÌÅͼ Àüó¸®Çϱâ
6.3 BLEU·Î ±â°è ¹ø¿ª Æò°¡Çϱâ
6.4 ±¸±Û ¹ø¿ªÀ¸·Î ¹ø¿ªÇϱâ
6.5 Æ®·¢½º·Î ¹ø¿ªÇϱâ
6.6 Á¤¸®Çϱâ
6.7 ¹®Á¦
6.8 Âü°í ¹®Çå
7Àå GPT-3 ¿£ÁøÀ» »ç¿ëÇÑ ÃÊÀΰ£ Æ®·£½ºÆ÷¸Ó µîÀå
7.1 GPT-3 Æ®·£½ºÆ÷¸Ó ¸ðµ¨À» »ç¿ëÇÑ ÃÊÀΰ£ NLP
7.2 OpenAI GPT Æ®·£½ºÆ÷¸Ó ¸ðµ¨ÀÇ ¾ÆÅ°ÅØó
7.3 GPT-2¸¦ »ç¿ëÇÑ ÀÏ¹Ý ÅؽºÆ® ¿Ï¼º
7.4 Ä¿½ºÅÒ GPT-2 ¾ð¾î ¸ðµ¨ ÇнÀ
7.5 OpenAI GPT-3 ÀÛ¾÷ ½ÇÇàÇϱâ
7.6 GPT-2¿Í GPT-3ÀÇ Ãâ·Â ºñ±³Çϱâ
7.7 GPT-3 ¹Ì¼¼ Á¶Á¤Çϱâ
7.8 4Â÷ »ê¾÷Çõ¸í AI Àü¹®°¡ÀÇ ¿ªÇÒ
7.9 Á¤¸®Çϱâ
7.10 ¹®Á¦
7.11 Âü°í ¹®Çå
8Àå ¹ý·ü ¹× ±ÝÀ¶ ¹®¼¿¡ Æ®·£½ºÆ÷¸Ó¸¦ Àû¿ëÇÏ¿© ¿ä¾àÇϱâ
8.1 ¹ü¿ë ÅؽºÆ® Åõ ÅؽºÆ® ¸ðµ¨ µðÀÚÀÎÇϱâ
8.2 T5¸¦ »ç¿ëÇØ ¿ä¾àÇϱâ
8.3 GPT-3·Î ¿ä¾àÇϱâ
8.4 Á¤¸®Çϱâ
8.5 ¹®Á¦
8.6 Âü°í ¹®Çå
9Àå µ¥ÀÌÅͼ¿¡ ÀûÇÕÇÑ ÅäÅ©³ªÀÌÀú
9.1 µ¥ÀÌÅͼ¿¡ ÀûÇÕÇÑ ÅäÅ©³ªÀÌÀú
9.2 ƯÁ¤ ¾îÈÖ°¡ Æ÷ÇÔµÈ Ç¥ÁØ NLP ÀÛ¾÷
9.3 GPT-3ÀÇ ¹üÀ§ »ìÆ캸±â
9.4 Á¤¸®Çϱâ
9.5 ¹®Á¦
9.6 Âü°í ¹®Çå
10Àå BERT ±â¹Ý Æ®·£½ºÆ÷¸Ó¸¦ »ç¿ëÇÑ SRL
10.1 SRL(Semantic Role Labeling, Àǹ̿ª °áÁ¤)
10.2 BERT ±â¹Ý ¸ðµ¨À» »ç¿ëÇÑ SRL ½ÇÇè
10.3 ±âº» ¿¹½Ã
10.4 ¾î·Á¿î ¿¹½Ã
10.5 SRL Àû¿ë ¹üÀ§¿¡ ´ëÇÑ Àǹ®
10.6 Á¤¸®Çϱâ
10.7 ¹®Á¦
10.8 Âü°í ¹®Çå
11Àå µ¥ÀÌÅÍ°¡ ¸»ÇÏ°Ô Çϱâ: ½ºÅ丮, Áú¹®, ´äº¯
11.1 ¹æ¹ý·Ð
11.2 ¹æ¹ý 0: ½ÃÇàÂø¿À
11.3 ¹æ¹ý 1: NER
11.4 ¹æ¹ý 2: SRL
11.5 ´ÙÀ½ ´Ü°è
11.6 Á¤¸®Çϱâ
11.7 ¹®Á¦
11.8 Âü°í ¹®Çå
12Àå °í°´ °¨Á¤À» °¨ÁöÇØ ¿¹ÃøÇϱâ
12.1 SST(Stanford Sentiment Treebank)
12.2 °¨¼º ºÐ¼®À¸·Î °í°´ Çൿ ¿¹ÃøÇϱâ
12.3 GPT-3¸¦ »ç¿ëÇÑ °¨¼º ºÐ¼®
12.4 4Â÷ »ê¾÷ ½Ã´ë¿¡ °üÇÑ ¸î °¡Áö »ý°¢
12.5 Á¤¸®Çϱâ
12.6 ¹®Á¦
12.7 Âü°í ¹®Çå
13Àå Æ®·£½ºÆ÷¸Ó·Î °¡Â¥ ´º½º ºÐ¼®Çϱâ
13.1 °¡Â¥ ´º½º¿¡ ´ëÇÑ °¨Á¤ ¹ÝÀÀ
13.2 °¡Â¥ ´º½º¿¡ ´ëÇÑ À̼ºÀû Á¢±Ù¹ý
13.3 ¸¶Ä¡±â Àü¿¡
13.4 Á¤¸®Çϱâ
13.5 ¹®Á¦
13.6 Âü°í ¹®Çå
14Àå ºí·¢¹Ú½º Æ®·£½ºÆ÷¸Ó ¸ðµ¨ Çؼ®Çϱâ
14.1 BertViz·Î Æ®·£½ºÆ÷¸Ó ½Ã°¢ÈÇϱâ
14.2 LIT
14.3 µñ¼Å³Ê¸® ·¯´×À» È°¿ëÇÑ Æ®·£½ºÆ÷¸Ó ½Ã°¢È
14.4 ³»ºÎ¸¦ º¼ ¼ö ¾ø´Â ¸ðµ¨ ºÐ¼®Çϱâ
14.5 Á¤¸®Çϱâ
14.6 ¹®Á¦
14.7 Âü°í ¹®Çå
15Àå NLPºÎÅÍ ¹ü¿ë Æ®·£½ºÆ÷¸Ó ¸ðµ¨±îÁö
15.1 ¸ðµ¨°ú »ýÅÂ°è ¼±ÅÃÇϱâ
15.2 ¸®Æ÷¸Ó
15.3 DeBERTa
15.4 ¹ü¿ë ¸ðµ¨¿¡¼ ºñÀü Æ®·£½ºÆ÷¸Ó±îÁö
15.5 È®ÀåµÇ´Â ¸ðµ¨ ¼¼°è
15.6 Á¤¸®Çϱâ
15.7 ¹®Á¦
15.8 Âü°í ¹®Çå
16Àå Æ®·£½ºÆ÷¸Ó ±â¹Ý ÄÚÆÄÀÏ·µÀÇ µîÀå
16.1 ÇÁ·ÒÇÁÆ® ¿£Áö´Ï¾î¸µ
16.2 ÄÚÆÄÀÏ·µ
16.3 µµ¸ÞÀκ° GPT-3 ¿£Áø
16.4 ÄÄÇ»ÅÍ ºñÀü
16.5 ¸ÞŸ¹ö½º¿¡¼ Àΰ£°ú AI ÄÚÆÄÀÏ·µ
16.6 Á¤¸®Çϱâ
16.7 ¹®Á¦
16.8 Âü°í ¹®Çå
17Àå ÃÊÀΰ£ Æ®·£½ºÆ÷¸Ó¸¦ »ç¿ëÇÑ OpenAIÀÇ ChatGPT¿Í GPT-4
17.1 ChatGPT¿Í GPT-4¿¡ ÃÊÀΰ£ NLP ¿¬µ¿Çϱâ
17.2 ChatGPT API ½ÃÀÛÇϱâ
17.3 ChatGPT Plus·Î ÄÚµå¿Í ÁÖ¼® ÀÛ¼ºÇϱâ
17.4 GPT-4 API ½ÃÀÛÇϱâ
17.5 °í±Þ ÇÁ·ÒÇÁÆ® ¿£Áö´Ï¾î¸µ
17.6 ¼³¸í °¡´ÉÇÑ AI(XAI)
17.7 DALL-E 2 API ½ÃÀÛÇϱâ
17.8 ¸ðµç °ÍÀ» Á¾ÇÕÇϱâ
17.9 Á¤¸®Çϱâ
17.10 ¹®Á¦
17.11 Âü°í ¹®Çå
ºÎ·Ï ¥° Æ®·£½ºÆ÷¸Ó ¿ë¾î ¼³¸í
¥°.1 ½ºÅÃ
¥°.2 ¼ºê Ãþ
¥°.3 ¾îÅÙ¼Ç Çìµå
ºÎ·Ï ¥± Æ®·£½ºÆ÷¸Ó ¸ðµ¨ÀÇ Çϵå¿þ¾î Á¦¾à»çÇ×
¥±.1 Æ®·£½ºÆ÷¸ÓÀÇ ¾ÆÅ°ÅØó¿Í ±Ô¸ð
¥±.2 GPU°¡ Ưº°ÇÑ ÀÌÀ¯
¥±.3 GPU´Â º´·Ä ¿¬»êÀ» À§ÇØ ¼³°èµÇ¾ú´Ù
¥±.4 GPU´Â ¶ÇÇÑ Çà·Ä °ö¼ÀÀ» À§ÇØ ¼³°èµÇ¾ú´Ù
¥±.5 GPU¸¦ »ç¿ëÇÏ´Â ÄÚµå
¥±.6 ±¸±Û ÄÚ·¦À¸·Î GPU Å×½ºÆ®Çϱâ
¥±.7 ±¸±Û ÄÚ·¦ÀÇ ¹«·á CPU
¥±.8 ±¸±Û ÄÚ·¦ÀÇ À¯·á CPU
ºÎ·Ï ¥² GPT-2¸¦ »ç¿ëÇÑ ÀÏ¹Ý ÅؽºÆ® ¿Ï¼º
¥².1 1´Ü°è: GPU È°¼ºÈ
¥².2 2´Ü°è: OpenAI GPT-2 ÀúÀå¼Ò º¹Á¦Çϱâ
¥².3 3´Ü°è: ¿ä±¸»çÇ× ¼³Ä¡Çϱâ
¥².4 4´Ü°è: ÅÙ¼ÇÃ·Î¿ì ¹öÀü È®ÀÎÇϱâ
¥².5 5´Ü°è: 345M ÆĶó¹ÌÅÍ GPT-2 ¸ðµ¨ ´Ù¿î·ÎµåÇϱâ
¥².6 6~7´Ü°è: Áß°£ Áöħ
¥².7 7b~8´Ü°è: ¸ðµ¨ °¡Á®¿À±â ¹× Á¤ÀÇÇϱâ
¥².8 9´Ü°è: GPT-2¿Í »óÈ£ ÀÛ¿ëÇϱâ
¥².9 Âü°í ¹®Çå
ºÎ·Ï ¥³ GPT-2¸¦ »ç¿ëÇØ Ä¿½ºÅÒ ÅؽºÆ® ¿Ï¼ºÇϱâ
¥³.1 GPT-2 ¸ðµ¨ ÇнÀÇϱâ
¥³.2 Âü°í ¹®Çå
ºÎ·Ï ¥´ ¹®Á¦ Á¤´ä
ã¾Æº¸±â