Facebook ще превежда езици директно един в друг
Алгоритъмът напълно прескача английското посредничество
Facebook може да преведе практически всяко писмено съдържание, публикувано в социалната мрежа, на местния език, използвайки автоматизиран машинен превод. Всъщност Facebook предоставя около 20 милиарда превода всеки ден само за своя News Feed. Системата обаче използва обикновено английския език като посредник - тоест преводът от китайски на френски преминава от китайски на английски на френски, предава technews.bg.
Посредничеството има смисъл, тъй като наборите от данни за преводи на и от английски са масивни и широко достъпни. Но, от друга страна, поставянето на английския в средата на превода намалява общата точност, като същевременно прави целия процес по-сложен и тромав, отколкото трябва.
Ето защо Facebook AI разработи нов MT модел, който може двупосочно да превежда директно между два езика (китайски на френски и френски на китайски), без никога да използва английски като посредник, и който превъзхожда англоцентричния модел с 10 точки по BLEU метриките, съобщи Engadget.
Основното предизвикателство всъщност е как със съществуващите системи за превод да се отговори на потребностите на хората по целия свят, споделя Анджела Фан, научен сътрудник във Facebook AI. Целта е системата да превежда директно на всички езици и във всички посоки.
Така например, има много региони в света, където хората говорят множество езици, но нито един от тях не е английски, докато съществуващите системи за превод разчитат основно на данни само на английски. От милиардите публикации ежедневно на 160 езика в платформата на Facebook две трети са на език, различен от английския, отбелязва Фан.
M2M-100, първият многоезичен модел за машинен превод (MMT), може директно да превежда напред-назад между всяка двойка от набор от 100 езика. Като цяло Facebook AI е създал огромен набор от данни, състоящ се от 7,5 милиарда изречения за 100 езика.
Използвайки това, изследователският екип е обучил универсален модел за превод с повече от 15 милиарда параметъра, "който улавя информация от сродни езици и отразява разнообразната писменост на езиците и морфологията", пояснява Facebook в блог публикация.
За да направи това, Facebook е събрал набор от публично достъпни данни от цял свят, използвайки различни нови техники.
;void(0);){kind=link}
;void(0);){kind=link}
;void(0);){kind=link}
;void(0);){kind=link}
;void(0);){kind=link}
;void(0);){kind=link}
;void(0);){kind=link}
;void(0);){kind=link}
;void(0);){kind=link}
;void(0);){kind=link}
;void(0);){kind=link}
;void(0);){kind=link}
;void(0);){kind=link}