Google razvi model za preveduvanje na znakoven jazik, ovozmožuvajќi im na korisnicite da prebaruvaat na internet koristejќi gestovi

Google razvi model za prevod na znakoven jazik koj može da konvertira složeni dviženja na teloto vo tekst koristejќi poveќe od 100.000 časa podatoci od poveќe od 50 znakovni jazici. Tehnologijata, narečena pretvoranje na znakoven jazik vo tekst (SL2T), sega se prefrla od fazata na istražuvanje na potrošuvačkite uredi, počnuvajќi so amerikanskiot znakoven jazik (ASL) na Pixel 11. Modelot ovozmožuva novi funkcii za prevod od karakter vo tekst vo aplikaciite Gboard i Live Transcribe. Namesto da pišuvaat, korisnicite možat da koristat gestovi za prebaruvanje na internet, pišuvanje poraki i dokumenti ili interakcija so Gemini na Google. Vo aplikacijata Live Transcribe, korisnicite možat da koristat i gestovi za da odgovorat za vreme na razgovor. Za razlika od transkripcijata na govorot, prevodot na znakoven jazik ne može ednostavno da povrze niza zvuci so zborovi. Znakovnite jazici se posebni jazici so svoja gramatika i vokabular. Značenjeto može da se prenese istovremeno i preku gestovi na racete, izrazi na liceto, položba na glavata, racete i torzoto. Zatoa prevodot na znakoven jazik e problem i na kompjuterski vid i na jazik. SL2T na Google e dizajniran da se spravi so dvata aspekta, prvo pretvorajќi gi dviženjata na korisnikot na znakoven jazik vo strukturirana reprezentacija, a potoa preveduvajќi gi vo tekst. Namesto da ispraќa neobraboteni snimki od kamerata za prevod, sistemot go koristi holističkiot model MediaPipe na Google za da gi identifikuva točkite na položba na teloto na edna ličnost koristejќi znakoven jazik. Tie vklučuvaat geometriski koordinati što gi pretstavuvaat dviženjata na racete, liceto i teloto. Samo tie koordinati se ispraќaat do sistemot za prevod, dodeka originalnoto video može vednaš da se izbriše. Ovoj pristap e dizajniran da ja namali količinata na čuvstvitelni vizuelni informacii što go napuštaat uredot, a sepak da mu obezbedi na modelot informacii za toa kako liceto go koristi znakovniot jazik. Potoa SL2T direktno preveduva niza točki od položbata na teloto vo tekst. Ne se potpira na sreden čekor narečen „sjajuvanje“ ili poednostaveni etiketi što često se koristat vo istražuvanjeto na znakovniot jazik za da se pretstavat individualni znaci. Google naveduva deka ova mu ovozmožuva na modelot podobro da razbere elementi kako što se prostornite odnosi i neverbalnite signali. Sistemot beše obučen na poveќe od 100.000 časa podatoci za znakoven jazik što opfaќaat poveќe od 50 jazici, pri što okolu edna četvrtina od podatocite doaѓaat od amerikanskiot dijalekt. „Gugl“ veli deka obukata za različni jazici, dijalekti i različni nivoa na poznavanje mu pomognala na modelot da gi nauči strukturite voobičaeni za znakovnite jazici. Na testot FLEURS-ASL, Google tvrdi deka dobil rezultat od 70 BLEURT poeni vo režim „nulti udar“, što, spored nego, e značitelno podobro od prethodno objavenite rezultati. Kompanijata go testirala modelot i vo odnos na praktični predizvici što bi možele da vlijaat na negovata sekojdnevna upotreba. Sistemot e dizajniran da preveduva vo realno vreme ili za vreme na kontinuiran striming, namesto da obrabotuva gotovo video. „Gugl“ veli deka razvojot vklučuval rabota za namaluvanje na latencijata, sprečuvanje na generiranje na izmislena sodržina koga nekoe lice ne koristi znakoven jazik i podobruvanje na rabotata so luѓe koi se levak ili koristat samo edna raka. Koristenjeto na ednata raka e osobeno važno so pametnite telefoni bidejќi možebi ќe treba da go drži telefonot so ednata raka, dodeka so drugata koristi znakoven jazik. Google, isto taka, vkluči gluvi korisnici i organizacii za vreme na razvojot, vklučitelno i vo testiranjeto, sobiranjeto podatoci i evaluacijata. Kompanijata veli deka tehnologijata e razviena so pridones od eksperti za gluvi lica i sovetodaven odbor što gi pretstavuva organizaciite za gluvi lica. Prvičnata verzija poddržuva prevod od ASL na angliski jazik vo aplikaciite Gboard i Live Transcribe na Pixel 11, a Google veli deka ќe sledi poddrška za dopolnitelni uredi i znakovni jazici. Ovaa rabota na krajot bi možela da se proširi i nadvor od samiot prevod, pri što Google ќe gi navede generiranjeto na znakoven jazik i drugi aplikacii kako idni nasoki na razvoj. The post Google razvi model za preveduvanje na znakoven jazik, ovozmožuvajќi im na korisnicite da prebaruvaat na internet koristejќi gestovi appeared first on Vo Centar.