caht gpt全稱：Chat Generative Pre-trained Transformer

1. chatGPT介紹

chatGPT是由OpenAI開(kāi)發(fā)的一個(gè)人工智能聊天機(jī)器人程序，于2022年11月推出。該程序使用基于GPT-3.5架構(gòu)的大型語(yǔ)言模型并通過(guò)強(qiáng)化學(xué)習(xí)進(jìn)行訓(xùn)練。

ChatGPT目前仍以文字方式交互，而除了可以通過(guò)人類自然對(duì)話方式進(jìn)行交互，還可以用于相對(duì)復(fù)雜的語(yǔ)言工作，包括自動(dòng)文本生成、自動(dòng)問(wèn)答、自動(dòng)摘要等在內(nèi)的多種任務(wù)。

如：在自動(dòng)文本生成方面，ChatGPT可以根據(jù)輸入的文本自動(dòng)生成類似的文本（劇本、歌曲、企劃等），在自動(dòng)問(wèn)答方面，ChatGPT可以根據(jù)輸入的問(wèn)題自動(dòng)生成答案。還具有編寫(xiě)和調(diào)試計(jì)算機(jī)程序的能力。

在推廣期間，所有人可以免費(fèi)注冊(cè)，并在登錄后免費(fèi)使用ChatGPT實(shí)現(xiàn)與AI機(jī)器人對(duì)話。

ChatGPT可以寫(xiě)出相似于真人程度的文章，并因其在許多知識(shí)領(lǐng)域給出詳細(xì)的回答和清晰的答案而迅速獲得關(guān)注缺茄，證明了從前認(rèn)為不會(huì)被AI取代的知識(shí)型工作它也足以勝任，對(duì)于金融與白領(lǐng)人力市場(chǎng)的沖擊相當(dāng)大，但其事實(shí)準(zhǔn)確性參差不齊被認(rèn)為是一重大缺陷，

其基于意識(shí)形態(tài)的模型訓(xùn)練結(jié)果并被認(rèn)為需要小心地校正。ChatGPT于2022年11月發(fā)布后，OpenAI估值已漲至290億美元[7]。上線兩個(gè)月后，用戶數(shù)量達(dá)到1億。

2. chatGPT如何訓(xùn)練數(shù)據(jù)

ChatGPT使用基于人類反饋的監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)在 GPT-3.5 之上進(jìn)行了微調(diào)。這兩種方法都使用了人類訓(xùn)練員來(lái)提高模型的性能, 通過(guò)人類干預(yù)以增強(qiáng)機(jī)器學(xué)習(xí)的效果，從而獲得更為逼真的結(jié)果。

在監(jiān)督學(xué)習(xí)的情況下，模型被提供了這樣一些對(duì)話, 在對(duì)話中訓(xùn)練師j充當(dāng)用戶和AI助理兩種角色。在強(qiáng)化步驟中，人類訓(xùn)練員首先對(duì)模型在先前對(duì)話中創(chuàng)建的響應(yīng)進(jìn)行評(píng)級(jí)。

這些級(jí)別用于創(chuàng)建“獎(jiǎng)勵(lì)模型”, 使用近端策略優(yōu)化(Proximal Policy Optimization-PPO)的多次迭代進(jìn)一步微調(diào)。

這種策略優(yōu)化算法比信任域策略優(yōu)化（trust region policy optimization）算法更為高效。這些模型是與 Microsoft合作,在其Microsoft Azure超級(jí)計(jì)算基礎(chǔ)設(shè)施上訓(xùn)練的。

此外，OpenAI繼續(xù)從ChatGPT用戶那里收集數(shù)據(jù)，這些數(shù)據(jù)可用于進(jìn)一步訓(xùn)練和微調(diào) ChatGPT。 允段扮塵許用戶對(duì)他們從ChatGPT收到的回復(fù)投贊成票或反對(duì)票；在投贊成票或反對(duì)票時(shí)，他們還可以填寫(xiě)一個(gè)帶有額外反饋的文本字段。

ChatGPT的訓(xùn)練數(shù)據(jù)包括各種文檔以及關(guān)于互聯(lián)網(wǎng)、編握禪程語(yǔ)言等各類知識(shí)，如BBS和Python編程語(yǔ)言。

關(guān)于ChatGPT編寫(xiě)和調(diào)試計(jì)算機(jī)程序的能力的訓(xùn)練， 由于深度學(xué)習(xí)模型不懂編程，與所有其他基于深度學(xué)習(xí)的語(yǔ)言模型一樣，只是在獲取代碼片段之間的統(tǒng)計(jì)相關(guān)性。