我們很快就觀察到當前系統在擴展到單

Nurrmohammad

一語言之外的限制。 「如果系統能夠透過將一種語言編寫的文檔標題與另一種語言的輸入文字查詢進行匹配來從資料庫中檢索相關文檔，那麼該搜尋系統就是多語言的。匹配技術的範圍從語法機製到語義搜尋方法。」 設計多語言系統的任務歸結為建立支援添加新語言的語言模型。因此，每次新增語言時都需要大量附加參數。實際上，這些參數支援代表新添加的語言詞彙的詞嵌入。 我們的多模式多語言系統的主要用例是圖像句子檢索任務，其目標是同時給定查詢圖像和句子從資料庫傳回相關圖像。本著這種精神，我們將探索多模式路徑並解決支援多種語言的挑戰。 邁向多模式與多語言系統 學習良好的語言表示是解決視覺語言任務的基本組成部分。好消息是，所有人類對視覺概念的解釋幾乎都是相同的。一種方法是將文字表示與圖像對齊。將不同語言的句子與視覺概念配對是促進跨語言視覺語言模型使用並改進它們的第一步。 事實證明，與傳統方法（即僅文字訓練的表示）相比，這種方法可以在視覺問答或圖像句子檢索等許多視覺語言任務中實現更好的表現。

然而，許多有前景的方法僅支援單一語言，在大多數情況下是英語。 「多模式多語言系統是前面章節所描述 丹麥 電話號碼 的各個多模式和多語言系統的組合。」 大量的跨模態方法需要付出很大的努力來預先訓練和微調多對語言。他們中的許多人都有手工製作的架構，專門用於或至少在特定的視覺語言任務上表現最佳。此外，許多現有系統能夠一次處理一種模式。例如，從給定圖像的語料庫中檢索相關句子，或從給定句子的資料庫中檢索相關圖像。 BERT為大規模採用基於 Transformer 的表示學習模式鋪平了道路。 BERT 遵循兩重訓練方案。第一個包括預訓練通用主幹，以使用自監督學習從大型語料庫中獲得可概括的表示。第二個是透過監督學習對特定任務進行微調。 最近的努力，例如MPNet，透過採用掩碼語言建模 (MLM)，建立在 BERT 的優勢之上。



此外，MPNet 新穎的預訓練透過排列語言模型（PLM）（ XLNet引入的預訓練方法）考慮了預測標記之間的依賴性。 雖然這些方法能夠跨英語以外的不同語言進行傳輸，但傳輸品質取決於語言。為了解決這個計算障礙，一些方法試圖透過使用屏蔽的跨語言建模方法來限制特定於語言的功能。 跨模態掩碼語言建模 (MLM) 方法包括隨機掩碼單詞，然後根據上下文進行預測。一方面，跨語言嵌入可以用於學習將嵌入與圖像相關聯。另一方面，這些方法能夠對齊附近語義相似單字的嵌入，包括來自不同語言的單字。因此，這是朝著多語言多式聯運系統的長期目標邁出的一大步。 訓練和微調多語言模型超出了這項工作的範圍。由於 BERT 和 MPNet 啟發了事實上的多語言模型、mBERT 和 mMPNet，我們正在使用此類可用的多語言預訓練詞嵌入來建立多語言多模式演示應用程式的流程。 演示應用程式：多語言和多模式搜索 搜尋引擎的最終目標是傳回符合輸入查詢的文件。傳統的資訊檢索 (IR) 方法側重於內容檢索，這是最基本的 IR 任務。