Klíčové poznatky
- Navi používá SharePlay a vestavěný převod řeči na text od společnosti Apple k nabízení titulků a překladů ve FaceTime.
- K dokonalosti to má daleko, ale už je dost dobré.
- Titulky jsou skvělé pro usnadnění přístupu.
Navi je aplikace, která k vašim hovorům FaceTime přidává živé titulky a překlady v reálném čase.
Aplikace využívá SharePlay a vestavěné rozpoznávání řeči k přidávání titulků a překladů do 20 jazyků k vašim hovorům FaceTime. Je to neuvěřitelné využití SharePlay, které většina z nás považuje za nezvyklý způsob sledování synchronizovaných filmů s lidmi na jiných místech. Možná ještě nebudete muset vyhodit svého překladatele, ale aplikace, která to umí, by mohla být šíleně užitečná.
„Nezískám zvuk z hovoru FaceTime,“píše vývojář Navi Jordi Bruin na Twitteru, „ale pomocí SharePlay ho sdílím mezi účastníky hovoru.“
SharePlay
SharePlay je nová funkce v iOS 15 a macOS 12.1, která vám umožňuje sdílet a synchronizovat věci ve FaceTime hovorech. S výše uvedeným příkladem sledování filmu může kterýkoli účastník pozastavit nebo přehrát film, například když budete všichni chatovat v hovoru FaceTime. Video FaceTime zůstává otevřené na malém, plovoucím panelu obraz v obraze a každý účastník spustí aplikaci lokálně na svém zařízení. Trik SharePlay spočívá v synchronizaci všeho, co se děje v těchto místních aplikacích, takže každý sdílí zážitek, ať už je to film, cvičení Fitness+ nebo tabulka.
Navi používá stejnou technologii, pouze aplikace pro volání není film, ale překladatelský nástroj v reálném čase. Chcete-li ji použít, spusťte aplikaci během hovoru FaceTime a klepněte na tlačítko „Zapnout titulky“. Poté se mohou k akci připojit i ostatní účastníci a vidět živé titulky pro aktuálního řečníka. Pokud někdo monologuje, jeho bublina se zvětší a zůstane tu trochu déle.
Pro neslyšící to může znamenat rozdíl mezi tím, zda lidem volat, nebo ne. A pro kohokoli to znamená, že můžete vést užitečné konverzace mezi lidmi, kteří nesdílejí jazyk.
Universal Text
Internet je postaven na textu, a to je skvělé. Je malý a snadno se vytváří, čte a překládá. Je také snadné přeměnit se na syntetizovanou řeč. Výsledkem je, že kdokoli odkudkoli se může zúčastnit jakékoli konverzace. Jazyk není překážkou, stejně jako hluchota nebo jakýkoli druh slepoty – pokud používáte zařízení s dobrými nástroji pro usnadnění přístupu pro zhoršený zrak nebo sluch.
Ale mluvené slovo je mnohem těžší zpracovat. Diktování řeči na text je působivé, ale teprve relativně nedávno se obecné rozpoznávání řeči stalo dostatečně dobrým pro obecné použití – dobrým příkladem je aplikace Překladač od společnosti Apple. Zaveden v iOS 15 a nabízí překlady zvuku v reálném čase. Kdybychom přesto jezdili na zahraniční dovolené, bylo by to perfektní.
Nyní používáme video stále více k práci a k tomu, abychom zůstali v kontaktu s přáteli a rodinou. Bez ohledu na to, jak budeme v budoucnu pracovat, bariéra videohovorů byla důkladně odstraněna. Nyní je to běžný nástroj, ale postrádá mnoho jemných nástrojů písemné komunikace.
Něco jako Navi, které nabízí titulky a překlad v reálném čase, by mohlo být významné. Přístupnost je jedním aspektem, ale schopnost konverzovat s lidmi, jejichž jazykem nemluvíte, otevírá mezinárodní obchod do překvapivé míry.
V akci
Navi jsem testoval s vývojářem aplikací, autorem a uživatelem sluchadel Grahamem Bowerem. Je to docela dobré, ale ještě není připraveno na kritické úkoly. Některé přepisy byly komicky špatné a příliš vulgární, než aby je bylo možné sdělit. Jak ale naše konverzace pokračovala, bylo mnohem lepší přesně rozpoznat jeho řeč. To dává smysl, protože diktovací modul iOS se časem přizpůsobí vašemu hlasu.
Překlad také fungoval, i když kvalita jeho překladů závisí na přesnosti zadání.
Promítnout tento druh technologie do budoucích brýlí Apple nebo čehokoli, na čem tento týden pracuje produkt pro AR/VR, je snadné.
"Vidím, že to funguje v AR brýlích," řekl Bower během našeho rozhovoru. "Někteří lidé, dokonce i s normálním sluchem, dávají přednost titulkům ve filmech. To by bylo jako titulky pro skutečný život."
I když je to působivé technické demo, Navi tam ještě není. Pro spolehlivé obchodní použití bude muset být počáteční rozpoznávání řeči Apple mnohem přesnější. Ale z hlediska rychlosti je to v pořádku a překlady jsou stejně dobré jako všechny ostatní.
Ale teď jsme na cestě a tohle se bude jen zlepšovat.
