學習一門語言的最佳方法，通常是讓自己沉浸在說這門語言的人所處的環(huán)境中。持續(xù)沉浸在這種語言環(huán)境中，加上溝通交流的壓力，能幫你很快學會和練習新詞匯。但并不是每個人都有機會在國外生活或?qū)W習。
位于美國紐約州特洛伊市的一所大學倫斯勒理工學院（Rensselaer Polytechnic Institute ，RPI）與IBM研究院（IBM Research）進行了一項新的合作，為學生們提供了另一種選擇：360度虛擬環(huán)境。
通過它將學生們“傳送”到北京的繁忙街道或擁擠的中餐館，學生們將有機會與街頭小販討價還價或購買食物，環(huán)境中配有不同的人工智能功能，以便對其作出實時響應(yīng)。
盡管該課堂很大程度上是實驗性的，但今年夏天它將首次被應(yīng)用于這所大學一門為期六周的學分課程中。
該項目的靈感來自RPI的兩位教師，他們經(jīng)常利用角色扮演游戲來幫助學生學習漢語。與此同時，在過去幾年中，一些研究發(fā)現(xiàn)互動式學習環(huán)境可以提高語言的理解和記憶。
2018年發(fā)表的一項研究還發(fā)現(xiàn)，在3D虛擬環(huán)境中學日語使學生更容易通過模擬仿真學會他們偶然遇到的詞匯。兩位教授與IBM Research基于這些認識展開了合作，探討他們是否能為自己的學生復制這些好處。
除了讓場景的數(shù)字投影環(huán)繞在學生周圍，該環(huán)境還使用多種類型的傳感器來動態(tài)適應(yīng)學生的話語和動作。參與者佩戴的麥克風將他們的音頻直接提供給語音識別算法。
當他們指向不同對象或走向不同的虛擬代理時，攝像頭會跟蹤他們的動作和手勢，并在虛擬場景中顯示出來。例如，如果學生指向餐廳場景中的一道菜并詢問它是什么，虛擬代理可以用名稱和描述來響應(yīng)。
“敘事生成”技術(shù)還能利用維基百科的知識，讓每個虛擬代理為即興提問（“這道菜的歷史是什么？”）構(gòu)建更復雜的答案。（然而，對話主題仍然有點局限于學生試圖完成的任務(wù)。）
該環(huán)境中的許多技術(shù)都是已投入商用的產(chǎn)品，它們編織在一起，便形成了一個整體體驗。但有些技術(shù)必須為該項目而專門開發(fā)。例如，普通話有五聲，對許多新學習者來說這是個挑戰(zhàn)，但它對傳達意義至關(guān)重要。說“賣”這個詞時稍有出入，你可能會說成“買”。
因此，研究人員發(fā)明了一種算法來分析學生發(fā)音的聲調(diào)。它將其與母語為漢語者的聲調(diào)進行比較，顯示兩者的不同之處，然后在環(huán)境中直接提供音頻和視覺反饋。它使學生能向虛擬代理詢問有些東西該怎么表達，并立即開始練習新詞匯。
領(lǐng)導這項計劃的IBM研究院認知與沉浸式系統(tǒng)實驗室主任蘇輝說，他的團隊仍處于了解實驗效果的早期階段。但在2017年底的一個試點項目中，研究人員有了定性方面的發(fā)現(xiàn)，發(fā)現(xiàn)它提高了學生在語言學習中的參與度和樂趣，并幫助他們迅速學會新的詞匯。
例如，在餐館點菜前，學生們并沒有學支付餐費該怎么表達，但通過觀察同齡人和虛擬代理交談，許多人學會了支付餐費的必要詞匯。蘇說：“這有點出乎意料。其中一個學生評論說，語言教學就該這樣。”
第一年新課程將在近一半時間里使用虛擬環(huán)境，其余時間里使用傳統(tǒng)課堂，但這種安排未來可能有變化。
如果該課程能提供學生學習成績明顯改善的強有力證據(jù)，它就能為其它課程樹立榜樣。最直接的想法是將其經(jīng)驗擴展到其他語言上，但它也可以用到大學以外的地方，指導公司高管，培訓政府工作人員，或進行其它可能從情景模擬和角色扮演中獲益的準備活動。
蘇輝說，這項計劃最終將為研究人員的長期任務(wù)提供幫助，使他們能夠理解認知與沉浸式環(huán)境是如何影響學習、協(xié)作和感知能力的。
