原標題:詞元,怎么突然就火了?(有事說事·詞元三問①)
最近,“詞元(Token)”這個詞突然火了起來。
相信在不少人心里,都有一個問號:詞元為啥這么火?
要解開這個疑惑,不妨先把“詞元”本身弄清楚。
啥是詞元?
詞元,原本只是一個在技術圈流通的專業(yè)術語,說的是AI處理文本時的基本單位,是大模型處理信息的最小單元。
這么說可能有點太過專業(yè),通俗來解釋就是,在AI時代,詞元可以是一個詞、一段代碼,也可以是圖像或視頻中的一個像素區(qū)塊。當你向AI工具提問的時候,工具里的模型會先把你的話分解成一個個小的詞元,在算力“算”完后把結果的相應詞元拼回成答案。
既然是AI時代的產物,為何最近才突然火起來?畢竟AI早已進入大家的視野了。
這里,不能不提最近爆火的“龍蝦”。
不管是OpenClaw,還是QClaw等諸多版本,“龍蝦”擴散的速度之快超乎想象,越來越多身邊人養(yǎng)上了“龍蝦”。
為何“龍蝦”爆火把詞元也給帶火了呢?
原因一說你就明白了:過去,我們與AI的相處模式主要是人機對話,我們提出諸如“詞元是什么?”“‘龍蝦’怎么養(yǎng)?”等等生活中面臨的問題,請AI給出答案。這種情況下,AI對詞元的調用量是“被動”式的,也就是說,只有我們向AI發(fā)問的時候,AI大模型才會思考,才會調用詞元來解答和處理我們的問題。
而現(xiàn)在,各路“龍蝦”的橫空出世,讓局面變得完全不同了。AI不再是被動式響應的對話框,而是長出了智能體,有了“感知—決策—執(zhí)行”的閉環(huán)能力,換句話說,AI能“主動”干活了,這種情況下,詞元的消耗量就大大增加了。
爆火的,不只是“龍蝦”。
各種AI工具不斷出現(xiàn),觸角不斷延伸到我們生活和工作的方方面面。
AI給大家?guī)碓絹碓蕉嗟谋憷?,也讓大家養(yǎng)成了使用AI甚至與AI共生的習慣。
各位看官,不妨打開自己的手機看看,里面是不是多多少少都有了那么幾款AI工具?就連今年的春晚也充滿了濃濃的AI味道。
現(xiàn)當下,對許多人來說,遇到需要解決的問題,可能不再是“百度”一下,而是問問AI;在出差途中,用手機給“龍蝦”下個指令,整理一份需要的材料出來,甚至給“龍蝦”設好鬧鐘,每天定時給自己“匯報”關注的最新動態(tài)……小到小學生,大到老年人,這些場景都成為越來越多人的生活日常了。
你提的每一個問題,“龍蝦”的每一次動作,就會有無數(shù)個詞元在為你奔跑。
數(shù)據(jù)為證:2024年初,中國日均詞元調用量為1000億,而到今年3月,日均詞元調用量已超過140萬億,短短兩年多時間,增長了超1000倍。
3月30日,根據(jù)機構最新數(shù)據(jù)測算,上周全球AI大模型總調用量為22.7萬億詞元,環(huán)比增長11.2%。其中,中國AI大模型的周調用量上升至9.86萬億詞元,較此前一周上漲33.94%,連續(xù)四周實現(xiàn)對美國市場的超越。
所以,最近火起來的“詞元”,并不是新生事物,其實早就默默在背后給你支招、為你干活了。
Copyright ? 2001-2026 湖北荊楚網(wǎng)絡科技股份有限公司 All Rights Reserved
互聯(lián)網(wǎng)新聞信息許可證 4212025003 -
增值電信業(yè)務經(jīng)營許可證 鄂B2-20231273 -
廣播電視節(jié)目制作經(jīng)營許可證(鄂)字第00011號
信息網(wǎng)絡傳播視聽節(jié)目許可證 1706144 -
互聯(lián)網(wǎng)出版許可證 (鄂)字3號 -
營業(yè)執(zhí)照
鄂ICP備 13000573號-1
鄂公網(wǎng)安備 42010602000206號
版權為 荊楚網(wǎng) m.shbfhc.com 所有 未經(jīng)同意不得復制或鏡像