近日，一款名為“元乘象 Chatlmg”的國(guó)產(chǎn) AI 模型吸引了眾多關(guān)注。它不僅支持文字聊天，還能看懂圖片上的內(nèi)容并根據(jù)圖片內(nèi)容回答問題。

據(jù)了解，“元乘象 Chatlmg”上線后十分火爆，關(guān)注微信公眾號(hào)“元乘象”就可以體驗(yàn)該應(yīng)用。元乘象Chatlmg初體驗(yàn)

如果給你一幅名畫圖片，可以想象一下，如果不知道這幅畫的名字，我們要怎么才能得到這些答案？首先，我們要把圖片輸入搜索引擎，從而根據(jù)匹配結(jié)果得到畫的名字，然后再拿著這個(gè)名字去搜想知道的信息。而且這些信息可能以大篇幅的形式彈出，需要你自己去找感興趣的段落。而借助“元乘象 Chatlmg”，我們只需要上傳圖片、提問題就可以了。

給“元乘象 Chatlmg”一張油畫的圖像，它可以迅速識(shí)別出圖片內(nèi)容是梵高的《星夜》，并做出鑒賞和評(píng)判。

甚至，它還能根據(jù)圖片編個(gè)故事，而且編的故事往往比較積極、陽(yáng)光。如果你想聊聊藝術(shù)，“元乘象 Chatlmg”也能陪你聊，并告訴你藝術(shù)品背后的故事。

Chatlmg有一些對(duì)于生活比較實(shí)用的功能，比如美食建議，給出一些食材，它給出的建議，已經(jīng)是“美食達(dá)人”的水準(zhǔn)。

“元乘象 Chatlmg”的這些能力不止可以用來閑聊，還可以用來寫各類建議、商品文案、旅游宣傳詞…… 這些都是可以商業(yè)變現(xiàn)的場(chǎng)景。

雖然結(jié)果可能不能直接拿來用，但用作參考還是很實(shí)用的。

當(dāng)然，如果你對(duì)結(jié)果不滿意，還可以要求“元乘象 Chatlmg”重寫，完整體驗(yàn)做甲方的感覺。

此外，我們還在測(cè)試過程中發(fā)現(xiàn)了一些有趣的現(xiàn)象。比如，如果“元乘象 Chatlmg”僅根據(jù)圖像和文字線索回答不出你的問題，它會(huì)讓你幫忙提供更多信息。在增加信息之后，它有可能給出正確答案。

此外，Chatlmg還有交往建議、穿搭建議、秒懂情緒、美食點(diǎn)評(píng)、藝術(shù)品鑒賞等一系列新潮、好玩、實(shí)用的功能應(yīng)用。

背后的技術(shù)與團(tuán)隊(duì)

如今，大模型在 NLP 任務(wù)中取得了成功的應(yīng)用。但真實(shí)世界的數(shù)據(jù)模態(tài)是多樣的。在通用人工智能的發(fā)展過程中，多模態(tài)感知極為重要的一環(huán)，也是解鎖大模型技術(shù)應(yīng)用的關(guān)鍵。

據(jù)了解，“元乘象 Chatlmg”就是搭載了自研的百億級(jí)別參數(shù)多模態(tài)大模型，從而能讓我們像體驗(yàn)的那樣能感知圖片并進(jìn)行對(duì)話。

簡(jiǎn)單介紹來說，目前元乘象 Chatlmg 大模型參數(shù)規(guī)模大概 150 億；數(shù)據(jù)方面目前主要是圖文對(duì)數(shù)據(jù)、VQA 數(shù)據(jù)等。而在訓(xùn)練過程中，該模型放開盡量少的可學(xué)習(xí)參數(shù)，從而保證在有限算力上的高效訓(xùn)練。

未來，除了當(dāng)下的圖文互動(dòng)外，該模型還將集成圖片生成的能力并加入視頻、音頻等多種模態(tài)，甚至與數(shù)字人等技術(shù)結(jié)合，開發(fā)出更生動(dòng)立體的形象。

盧志武教授

值得一提的是，這個(gè)好玩的應(yīng)用來自中國(guó)人民大學(xué)高瓴人工智能學(xué)院教授盧志武帶領(lǐng)的團(tuán)隊(duì)。盧志武教授曾主導(dǎo)設(shè)計(jì)了首個(gè)公開的中文通用圖文預(yù)訓(xùn)練模型文瀾 BriVL，并發(fā)表于 Nature Communications。該模型經(jīng)過6.5億弱相關(guān)中文圖文對(duì)的預(yù)訓(xùn)練，學(xué)習(xí)到獨(dú)特的中文語(yǔ)義理解能力并能很好地將中文語(yǔ)義與視覺信息聯(lián)系起來，尤其擅長(zhǎng)讀取中文獨(dú)有的含蓄語(yǔ)義與圖片中的抽象概念。

免責(zé)聲明：市場(chǎng)有風(fēng)險(xiǎn)，選擇需謹(jǐn)慎！此文僅供參考，不作買賣依據(jù)。

關(guān)鍵詞：