Az elképzelés tulajdonképpen kézenfekvő – és még csak nem is kell párnázott fotelbe ültetnünk a számítógépünket, hogy velünk együtt lesse végig az esti adást. A szoftver, amelyet az oxfordi és a leedsi egyetem kutatói dolgoztak ki, egy a kézmozdulatokra épülő algoritmus segítségével dolgozik. Meghatározza a képen látható kezek helyzetét, és ezt kapcsolja össze a megfelelő jellel – számol be cikkében az ismeretterjesztő lap.

Hamupipőke jelnyelven. Az előadást jelnyelvi tolmácsok fordítják a Miskolci Nemzeti Színházban, 2007. május 25-én
(Forrás: MTI, Vajda János)

A jelnyelv persze nem pusztán egymás után rakosgatott elemek sora, így a programnak bonyolult feladatot kellett megoldania: a szövegkörnyezet kérdését. A jelnyelv(ek)ben ugyanis, magyarázza a New Scientistnek Mark Everingham, a kutatás egyik vezetője, sokat módosít az egyes jelek használatán a kontextus. „Így például egészen más jel használatos a vágni kifejezésre, ha az ember fát vág vagy ha egy rózsát vág le.”

A szoftvernek tehát számba kellett vennie és elemeznie az adott jel különböző előfordulásait ahhoz, hogy megtalálja a megfelelő jelentést az adott beszédhelyzetre és szövegkörnyezetre. Lényeges segítség volt a szoftver kialakításakor, hogy a jelek értelmezését összekapcsolták a – számítógépes úton már értelmezhető – szöveges aláírással, ami szintén a siketek TV-nézését könnyíti meg, akárcsak a jelnyelvi tolmácsolás.

A kidolgozott elméletet továbbgondolva a surrey-i egyetem kutatói, Helen Cooper és Richard Bowden a videoanyagok elemzése során már a leggyakrabban előforduló szavakat is felmérték. Mindkét kutatás, magyarázza Everingham, igencsak messzire mutathat: a kezdeti sikerek után ugyanis akár olyan számítógépes avatarokat (digitális figurákat) is ki tudnak majd dolgozni, amelyek képesek lesznek folyékonyan tolmácsolni a műsorokat a siket nézőknek.

Az eredmények kétségkívül jelentősek és előrelépést jelenthetnek a korábbi, igencsak akadozva közvetítő avatartolmácsokhoz képest, teszi hozzá a kutató. Más kérdés persze, hogy mennyire tudja majd egy-egy ilyen digitális tolmács váratlan helyzetekben feltalálni magát, vagy alkalmazni a jelnyelv használatakor oly nagy szerepet játszó mimikát.