Zal een vertaalapp voor gebarentaal ooit een realiteit worden?

Advertentie

Stel je een wereld voor waarin de barrières tussen doven en horen zijn verdwenen. Een wereld waarin gesprekken vloeiend verlopen tussen degenen die geluid horen en degenen die dat niet horen. Zou die wereld in de nabije toekomst echt kunnen worden?

In juni ontwikkelde een groep marketingstudenten van Berghs School of Communication een conceptvideo voor een fictief product genaamd Google Gesture. Het product omvatte een draagbaar polsbandje en een mobiele app die elektromyografie gebruikte om de spierbewegingen te lezen van een dove die gebarentaal deed. Het systeem gaf die signalen vervolgens door aan de app, die die signalen vertaalde in een gedigitaliseerde stem en voor de persoon zou spreken.

Het bekijken van de nepmarketingvideo was best spannend. Zo spannend zelfs dat grote technische sites zoals Mashable, Slashgear en anderen het product oorspronkelijk als echt aankondigden, en later de claim moesten herhalen en hun excuses aanbieden voor hun fout. Het was een vreemde fout, aangezien dat er echt was

is een Google-product genaamd Google Gesture Search [Niet langer beschikbaar], waarmee u gebaren op uw mobiele scherm kunt tekenen om contacten, bladwijzers en meer te zoeken.

Hoe dan ook, het concept van de Berghs-studenten presenteerde een opmerkelijk idee, dat leidde tot de vraag: zou het mogelijk zijn om zo'n app echt te maken?

Is het vertalen van gebarentaal mogelijk?

Door het marketingconcept op technisch niveau te ontleden, blijkt dat de technologie die elektromyografie (EMG) gebruikt om gebarentaal te 'voelen' helemaal niet zo vergezocht is. Al in 2009, onderzoekers van de University of Washington waren in staat om meerdere EMG-sensoren te gebruiken om spierbewegingen te decoderen en om te zetten in daadwerkelijke arm- en handgebaren.

De onderzoekers bouwden eigenlijk een complete "gebarenherkenningsbibliotheek", die identificeerde welke spiersignalen welk gebaar vertegenwoordigden. Het onderzoek bewijst dat dit soort technologie beschikbaar is en klaar voor implementatie in het soort applicatie dat de Berghs-studenten voor ogen hadden.

Dus heeft iemand dit al bereikt? Zo niet, waarom doet niemand dit, en biedt het doven en slechthorenden de mogelijkheid om met gebaren te communiceren met iedereen ter wereld?

De toekomst van realtime vertaaltechnologie

De waarheid is dat iemand in feite werkt aan dergelijke real-time technologie voor het vertalen van gebarentaal.

Er is een bedrijf genaamd SpeechTrans [Broken URL Removed], dat de grenzen verlegt van vertaaltechnologieën Vergeet Google Translate: 3 manieren om een ​​nauwkeurige, snelle vertaling te krijgenOf je nu van plan bent om in het buitenland te gaan solliciteren voor een baan of een appartement, of je webpagina wilt vertalen, je moet het goed doen, zelfs met een vreemde taal. Lees verder in recente jaren. SpeechTrans werkt samen met technologiepartners om enkele van de meest opmerkelijke real-time vertaaldiensten op de markt te produceren. Dit zijn services die tekstchat naar tekstchat, spraak naar tekst en zelfs realtime spraak naar spraak vertalen via mobiele telefoon en desktop-applicaties.

Om te onderzoeken of een gebarentaaltechnologie in de nabije toekomst werkelijkheid zou kunnen worden, ging MakeUseOf zitten met SpeechTrans CEO John Frei en COO Yan Auerbach om deze baanbrekende nieuwe te bespreken vertaaltechnologie Begrijp elke taal met deze 5 websites voor vertaling van talenTechnologie heeft de wereld kleiner gemaakt. Mensen van over de hele wereld gebruiken veel van dezelfde tools, bezoeken een aantal van dezelfde websites en mixen online verschillende chatrooms. De... Lees verder en hoe ver het in de toekomst kan zijn.

Een vertaalapp voor gebarentaal ontwikkelen

MUO: Is het mogelijk om het soort gebarentaal-naar-spraakvertaling te doen die de Berghs-studenten in deze Google Gesture-conceptvideo hebben afgebeeld?

John: Ik zou zeggen dat de technologie beschikbaar is om dat te ontwikkelen. We werken momenteel samen met Microsoft en Intel om enkele van de technologieën te verkennen waarmee ze op de proppen komen, in termen van hardware en software. We stellen ons de mogelijkheid voor om die technologie te gebruiken om gebarentaal te herkennen en die vervolgens om te zetten in spraak- en audio-uitvoer.

MUO: U werkt momenteel actief aan de ontwikkeling van die technologie?

Yan: Dus, er was een klant die onze software gebruikte, en vond het geweldig als we deze zouden kunnen aanpassen zodat mensen met een gehoorstoornis deze kunnen gebruiken om bellen vanuit onze app om te communiceren zonder gebarentaal wanneer ze persoonlijk zijn, of zonder een TTY-achtige service voor telefoon oproepen. We ontwikkelden dat product en met financiering van Microsoft en Intel lanceerden we SpeechTrans voor slechthorenden op Windows 8.1, waardoor de behoefte aan gebarentaal wegvalt.

MUO: Hoe werkt de "persoonlijke" app?

Yan: Er is een luistermodus en er is een invoermodus. Dus wanneer iemand tegen je spreekt, zet je de luistermodus aan en typt alles wat ze op het scherm zeggen in tekst uit. Wanneer u vervolgens reageert, typt u het uit en zegt het vervolgens hardop wat u typt. Met de telefoon bel je gewoon het telefoonnummer van een persoon en als ze de telefoon opnemen, wordt het een soort instant message. Wat ze ook zeggen, je krijgt een IM. Vervolgens wordt alles wat u typt hardop uitgesproken via de telefoon. Dat is de eerste fase.

Vertaling in de nabije toekomst

MUO: Welke technologieën kunnen mensen in de nabije toekomst verwachten? Wat is de volgende fase?

John: We stellen ons voor - voor iemand die alleen de mogelijkheid heeft om gebarentaal te gebruiken - om dat te kunnen doen voor een apparaat zoals een telefoon, pc of laptop. Intel heeft een nieuw camerasysteem en Microsoft doet het ook met de Kinect, die gebarenherkenning doet.

MUO: Hoe is dit beter dan het armbandconcept van de Berghs-studenten?

Yan: Kortom, de onze gaat werken op een manier waarbij u niets op uw arm hoeft te leggen. Het herkent 64 punten op je hand. We gebruiken de bètaversie van Intel's RealSense-camera. Dus we zullen niet alleen alle gebarentaal en meerdere verschillende dialecten van gebarentaal kunnen herkennen, maar we zullen ook emoties, gezichtsuitdrukkingen en andere kleine nuances kunnen herkennen en dat vervolgens omzetten in gesproken woorden als goed.

Daarvoor hoef je geen handschoenen of iets anders te dragen. We richten ons specifiek op die markt omdat we mensen in het algemeen graag helpen. We willen niet alleen mensen helpen die in veel verschillende talen willen spreken, maar we willen ook mensen helpen die niet in welke taal dan ook kunnen spreken. De technologie bestaat en er is geen reden waarom hun kwaliteit van leven anders zou zijn dan die van ons.

John: Het is een haalbaar concept. Het is gewoon een andere invoer en uitvoer. Sommige van de gesprekken die we met Microsoft hebben gevoerd over enkele van de toekomstige technologieën zijn waar iemand zou een microchip in hun nek kunnen implanteren en het leest direct hun hersengolf patronen. Dus als je mensen helpt die niet kunnen communiceren, zien we zoiets eigenlijk als een fase drie-implementatie.

Vorig jaar kwam een ​​groep studenten met een werkend prototype van een handschoen die op een computer was aangesloten. De gebaren die je met de handschoen hebt gemaakt, worden dan herkend en omgezet in gebarentaal. Ze hebben dus al de mogelijkheden met de huidige technologie.

Onze visie is dat we niet echt de accessoires willen maken zoals de armbanden die je moet omdoen. Het moet gewoon natuurlijk en vrij stromend zijn voor hen [mensen die gebarentaal gebruiken] om het voor hun videocamera te doen. 90% van wat mensen in communicatie zeggen, is eigenlijk in hun lichaamstaal. Omdat we toegang hebben tot gezichtsherkenning, gebaren en emoties, kunnen we die gegevens gebruiken als om ervoor te zorgen dat de vertaling en wat ze proberen over te brengen, rechts wordt uitgedrukt het formulier.

MUO: Valt Intel binnen het bereik van 5 jaar met die technologie voor gebarentaalherkenning?

John: Intel heeft zeker veel bronnen beschikbaar. Hun technologie en hun software komen in een tempo waarin we dit vrij snel kunnen laten gebeuren.

MUO: Heeft u een tijdsbestek wanneer u deze technologie op de markt wilt brengen?

John: Voor de gebarentaal is dit ongeveer 12 tot 18 maanden.

MUO: Heeft iemand anders nog zoiets als dit voor gebarentaalvertaling?

John: Ik zag een YouTube-video van IBM die een prototype maakte waarbij iemand gebarentaal aan het doen was, maar het was een proof of concept en het had maar drie of vier woorden die het herkende. We hebben meer dan vijfhonderdduizend woorden waarmee we het willen uitrollen, dus het zal het naar een heel ander niveau tillen.

Gevolgtrekking

Hoewel de visie die de studenten van Berghs hadden bedacht misschien niet de gebarentaalvertalingsapp van de toekomst wordt, betekent dat niet dat zo'n concept niet zal gebeuren. Het werk van SpeechTran, Intel en Microsoft bewijst dat het vertalen van gebarentaal vrijwel zeker binnen enkele jaren een echte technologie zal worden. Het zal waarschijnlijk geen omslachtige armbanden zijn, maar in plaats daarvan niets meer dan een speciale videocamera en een mobiele app.

Door de magie van gebaren en gezichtsherkenning belooft deze gebarentaalvertalingsapp van de toekomst de interpersoonlijke communicatie voor honderdduizenden Slechthorend 5 beste bronnen voor Mac- en Apple-apparaatgebruikers met een handicap Lees verder of slechthorenden over de hele wereld.