Na neprístupnosť pri prechádzaní webových stránok už narazil asi každý používateľ čítača obrazovky. Kto nie, nech prvý hodí akýmkoľvek nepopísaným prvkom formulára, obrázkovou captchou bez prístupných alternatív, či nedostupnými elementami z klávesnice. A „materiálu“ na hádzanie by sa určite našlo oveľa viac! Napriek pretrvávajúcej snahe vývojárov, aby Screen readery dokázali z obrazoviek vyčítať maximum, zvyšujúcej sa osvete a novej platnej legislatíve v tejto oblasti sa niektoré evergreeny chronicky opakujú. Jednou zo zaujímavejších ciest v sprístupňovaní webového obsahu však môže byť pridávanie nových funkcií do čítačov obrazoviek, založených na báze umelej inteligencie (AI). Veď inovatívne riešenia, ktoré prináša avizovaná funkcia Picture smart AI v JAWSE 2024 a rozšírenie do NVDA AI Content Describer ukazujú pri popisovaní zameraných obrázkov i celých obrazoviek monitorov, viac než uspokojivé výsledky. Popisy sú detailné a až na občasné malé nepresnosti veľmi výstižné. Keďže najnovší JAWS 2024 je ešte tesne pred vydaním lokalizovaného slovenského releasu a spomínané rozšírenie do NVDA si pri sprevádzkovaní vyžaduje určité pokročilejšie počítačové zručnosti a platobné možnosti, v tomto článku sa zameriame na zopár konkrétnych prípadov, kedy sa užitočným pomocníkom pri prekonávaní digitálnych bariér môže stať práve umelá inteligencia. Na praktickú demonštráciu použijeme službu Be My Eyes, ktorú sme si predstavili v článku Získajte oči na diaľku pomocou aplikácie Be My Eyes.
Na scéne sa zjavil nový virtuálny dobrovoľník
V minulom roku vzbudila v radoch nevidiacich veľkú pozornosť ohlásená spolupráca medzi Be My Eyes a OpenAI, ktorá skončila zrodom virtuálneho dobrovoľníka s umelou inteligenciou. Nájdete ho v aplikácii Be My Eyes pod názvom By My AI. Snaha o čo najlepšie rozpoznávanie obrázkov sa prejavila tohtoročným upgradovaním jazykového modulu na verziu GPT-4, ktorý je oproti svojmu predchodcovi s označením GPT-3.5 schopný naozaj pozoruhodne presne popísať scény z obrázkov. Stačí len siahnuť po smartfóne a rozhodnúť sa, či požiadame o pomoc dobrovoľníka z mäsa a kostí ,alebo z núl a jednotiek. Keďže s reálnym človekom sme mali tú česť v predchádzajúcom článku, dnes skúsime prekonať digitálne bariéry s jeho novým virtuálnym kolegom. V smartfóne ho nájdeme po spustení aplikácie na záložke Be My AI. Jej aktiváciou sa sprístupní jediné tlačidlo Take picture (Vyfotiť). Jeho aktiváciou spustíme fotoaparát namierený na predmet nášho záujmu a po krátkej chvíli si už môžeme vypočuť podrobný popis zosnímanej scény. Pokiaľ máme k uvedenému popisu nejaké dodatočné otázky, aktiváciou tlačidla Ask more (Spýtajte sa viac)sa sprístupní editačné pole Reply (Odpovedzte), do ktorého môžeme napísať otázku a tlačidlom Send message (Odošli odpoveď)ju odošleme.
Poznámka:
Čítač TalkBack prečítal popis rozpoznanej scény automaticky, čítač Corvus až po švihnutí hore.
Be My Eyes aj vo Windowse
Ďalšou dobrou tohtoročnou novinkou je aj to, že Be My Eyes je dostupná už aj na platforme Windows. Za jednu z výhod práce s Be My Eyes na laptope hodnotíme to, že používatelia, ktorí majú problémy napríklad so zosnímaním údajov z obrazovky monitora počítača smartfónom, určite radi siahnu po tejto alternatíve. Rovnako môže byť pre niekoho vhodnejšie zosnímať predlohu dokumentu alebo pohľadnicu cez skener, než objektívom telefónu. Subjektívne sa nám zdá aj jednoduchšie vyhľadávanie obrázka v prostredí Windows oproti súborovým manažérom v Androide. No a zjavnou výhodou je určite zadávanie otázok z klávesnice počítača. Nedostatkom Be My Eyes pre Windows oproti mobilným platformám sa zatiaľ môže javiť absencia možnosti zavolať živému dobrovoľníkovi cez videohovor, ale vo FAQ vývojári zvažujú zavedenie aj tejto funkcie.
Ako si Be My Eyes nainštalovať?
Be My Eyes sa inštaluje z Microsoft Store. Môžete použiť tento priamy link alebo aplikáciu vyhľadáte priamo v MS Store týmto postupom: Stlačte klávesu Windows a začnite písať „s t o“. Pri dosiahnutí zhody ohlásenej hláškou Microsoft Store, stlačte enter. Shift+tab vás presunie do editačného poľa na vyhľadávanie. Tu napíšte názov aplikácie Be My Eyes. Šípkou dole sa presuňte na nájdenú aplikáciu Be My Eyes a stlačte enter. Entrom potvrďte tlačidlo inštalovať. Spustí sa proces sťahovania a inštalácie aplikácie, o ktorého priebehu budete informovaní ohlasovaním v percentách. O úspešnej inštalácii budete informovaní systémovým oznámením a tlačidlo Zrušiť sa zmení na Otvoriť. Potvrďte ho entrom. Na zobrazenej obrazovke máte k dispozícii niekoľko možností, ktorými sa k Be My Eyes dá prihlásiť:
- Pokračovanie e-mailu,
- Pokračovať cez Google,
- Pokračovať so spoločnosťou Apple,
- Pokračovať pomocou Facebooku.
Ďalší postup závisí od zvoleného poskytovateľa. Principiálne však budete musieť povoliť bezpečnostnú výnimku na využívanie služieb Be My Eyes na zariadeniach u poskytovateľa podľa svojho nastaveného bezpečnostného profilu.
My sme zvolili prístup cez e-mail. Vyplnili sme prihlasovací formulár, pozostávajúci z mena, priezviska, mailovej adresy a hesla. Použili sme prihlasovacie údaje, ktoré sme zadávali pri registrácii do Be My Eyes v smartfóne a aktivovali odkaz Prihlásiť. Na ďalšej obrazovke sme znova zadali e-mailovú adresu, heslo a aktivovali tlačidlo Prihlásiť. Pokiaľ v Be My Eyes používateľský účet ešte založený nemáte, vyplňte všetky vyššie uvedené položky, ale namiesto odkazu prihlásiť aktivujte tlačidlo Pokračovať. V poštovom klientovi na zadanom emaile potvrďte verifikačný link a na zobrazenej stránke si prečítajte potvrdzujúcu stavovú správu. Vráťte sa do okna Be My Eyes a potvrďte tlačidlo OK, klikol som na link. Na ďalšej obrazovke aktiváciou tlačidla Súhlasím potvrďte podmienky využívania služby a môžete začať By My Eyes používať.
Čo nájdeme v Be My Eyes?
Okno aplikácie Be My Eyes sa zobrazí v slovenčine. Pohybujeme sa v ňom šípkami a klávesou tab a shift+tab, s prvkami interagujeme enterom alebo medzerníkom. Zobrazený obsah okna kontextovo závisí od záložky, ktorá je aktuálne aktívna. Predvolene je aktívna záložka Buď moja umelá inteligencia, na ktorej sú zobrazené štyri tlačidlá:
- Opíšte moju obrazovku (skratka Alt + Ctrl + H),
- Urobte si obrázok pomocou zabudovanej kamery (skratka Alt + Ctrl + J),
- Opíšte obrázok z Prieskumníka súborov (Klávesová skratka Alt + Ctrl + K),
- Opíšte schránku (Klávesová skratka Alt + Ctrl + L).
V závislosti od situácie použijeme niektoré z tlačidiel. Po zvolení akcie sa za sprievodu charakteristickej hudby začne okamžite rozpoznávať scéna. Po ukončení rozpoznávania je scéna čítačom automaticky ohlásená. Kurzor sa nachádza v editačnom poli, kde môžeme písať doplňujúce otázky a odosielať ich enterom. Shift+tabom sa presunieme do histórie aktuálnej konverzácie s AI, ktorú si prezeráme šípkami. Pokiaľ chceme aktuálnu konverzáciu zavrieť, pretabujeme sa na jediné nepreložené tlačidlo Back. Jeho aktiváciou sa dostaneme na základnú obrazovku Be My Eyes. Na druhej záložke s nastaveniami si môžeme napríklad upraviť klávesové skratky, zapnúť zvuky sprevádzajúce niektoré akcie, navštíviť Centrum nápovedy alebo sa z aplikácie odhlásiť.
Poznámka:
Pokiaľ chcete inštalovať aplikácie z Microsoft Store, musíte byť v aplikácii prihlásení k svojmu používateľskému účtu. Použiť môžete prihlasovacie údaje ktoré zadávate k akýmkoľvek produktom Microsoftu.
Ako nám Be My Eyes môže pomôcť?
Radosť z výhodnej ceny nám pri on-line nakupovaní môže pokaziť obyčajná voľba platobnej metódy. Pravdaže, ak je navrhnutá neprístupným spôsobom. Žiarivým príkladom sú stránky predpredaj.sk, ktoré sú v podstate službou na predajný elektronický spôsob objednávania, predaja a distribúcie Vstupeniek. Ak si objednávku vyhotovíte ako neregistrovaný zákazník, pri voľbe platobnej metódy narazíte na deväť nepopísaných prepínačov. Ako si teda zvoliť platobnú metódu? Napríklad zapojením umelej inteligencie! Najskôr maximalizujte okno prehliadača (skratka F11). Cez ponuku Štart alebo z panela úloh spustite Be My Eyes. V otvorenom okne aktivujte tlačidlo Opíš moju obrazovku. Po krátkej chvíli sa ozve čítač obrazovky a môžete počuť trebárs takýto popis:
„Na stránke predpredaj.sk sa nachádzate v sekcii výberu platobnej metódy. Môžete si vybrať z nasledujúcich možností:
- Mastercard,
- Maestro,
- VISA,
- G Pay,
- Apple Pay,
- Tatra banka,
- Poštová banka,
- VÚB banka,
- Slovenská sporiteľňa,
- VIAMO,
- Edenred“…
Keďže čítač obrazovky detegoval 9 platobných metód a umelá inteligencia až jedenásť, nastal čas na doplňujúce otázky. Do editačného poľa, ktoré je na tento účel určené a kde ostal kurzor, môžeme vpísať všetky svoje otázky. Dialóg by mohol vyzerať takto (BR=Blindrevue, BE=By My Eyes):
BR: „Ktorá platobná metóda je pod prepínačom číslo 1?“
BE: „Prvým prepínačom zvolíte platobnú metódu Mastercard, Maestro alebo Visa.“ Z tejto odpovede teda vieme, že Mastercard i Visa sú platobné služby na kartách, preto prepínačom 1 volíme ako platobnú metódu platobnú kartu.
BR: „Napísal si, že na piatej pozícii je Poštová banka, ale v skutočnosti je tam iná banka.“
BE: „Ospravedlňujem sa za chybu. Na obrázku na piatej pozícii je VÚB banka.“
Získali sme teda viacero užitočných informácií, ktoré vieme využiť pri dokončení objednávky. Pravdou však je, že nie všetky informácie boli úplne presné. Stalo sa nám napríklad, že ak sme dvakrát po sebe položili tú istú otázku, dostali sme dve odlišné odpovede. Inými slovami, úplne sa pri hľadaní asistencie odovzdať do rúk umelej inteligencie ešte nie je našou prvou voľbou, ale v krízových situáciách môže pomôcť. Treba ale povedať, že o čosi lepšie výsledky sme dosiahli v identickej situácii, ak bolo na výber menej položiek.
Na Captchu a videomeetingy s AI
Veľkou nepríjemnosťou pri vypĺňaní rôznych formulárov je pre skrínrideristov Captcha, ktorá zmarila už nejednu snahu o registráciu. Zvlášť, ak nebola k nej prístupná alternatíva alebo vidiace oko poruke. V tomto prípade sme mali s umelou inteligenciou veľmi dobrú skúsenosť – boli sme prakticky stopercentne úspešní. Zopakovali sme postup s odfotením obrazovky a rozlúštili sme napríklad Captchu pri zmene hesla v internetbankingu Slovenskej sporiteľne alebo pri vypĺňaní petície na známom petičnom portáli. Po bohato popísanej stránke, kde sme sa dozvedeli detaily o usporiadaní webovej stránky aj so všetkými formulárovými prvkami sa umelej inteligencie stačilo už len opýtať:
BR: „Aký je kód Captcha?“
BE: „Kód Captcha je „ry6Rk“.“
Tí, ktorí sa zúčastňujú on-line mítingov, zase určite ocenia, keď sa budú môcť na videohovor vopred pripraviť. V Be My Eyes sa môžu tlačidlom Urobte si obrázok pomocou zabudovanej kamery presvedčiť, či majú optimálne svetelné podmienky, či sa pozerajú do kamery, majú správne naklonený monitor notebooku, alebo či za sebou náhodou nemajú nejaký neporiadok. Ak dostanú napríklad odpoveď: BE: „Na obrázku je osoba sediaca na stoličke alebo kresle. Osoba je v tieni, takže jej tvár a detaily sú ťažko rozpoznateľné. Monitor je zrejme príliš sklopený, keďže časť hlavy nad čelom je mimo záberu. V pozadí je posteľ s vankúšom a prikrývkou. Na pravej strane je okno s bielymi záclonami, cez ktoré preniká svetlo. Celková atmosféra miestnosti je tmavá, pravdepodobne kvôli nedostatku osvetlenia.“
Pred prihlásením teda nezabudnite zatiahnuť žalúzie, rozsvietiť a viac od seba odklopiť monitor. No a ak nechcete na nejakej oficiálnej on-line konferencii alebo webinári zdieľať pohľad na interiér, môžete napríklad rozostrieť pozadie alebo použiť pozadie, ktoré poskytujú on-line komunikátory. Pre kontrolu môžete pokus so selfie zopakovať.
Poznámka:
Ak je to nevyhnutné, pri prvom použití udelíme systémové povolenia pre použitie kamery aplikáciou.
Ach, tie cookies!
BE: „Na stránke UniCredit Bank sa zobrazuje vyskakovacie okno s otázkou, či chcete využívať všetky funkcie webu. Text v okne hovorí o súhlase s využitím cookies, ktoré pomáhajú lepšie porozumieť tomu, ako web používate a umožňujú prispôsobiť informácie a reklamu. Máte dve možnosti: „Použiť len technické cookies“ a „Súhlasím a chcem pokračovať“.“ Ak sme náhodou v pozícii on-line prezentujúceho, vidiacim účastníkom zdieľame svoju obrazovku a chceme im ukázať nejakú činnosť alebo detail na webe, určite nám pomôže, ak nám ešte pred začatím zdieľania obrazovky umelá inteligencia prezradí, čo sa na obrazovke aktuálne nachádza – čítač to totiž môže odignorovať. Môžeme sa tak vyhnúť trápnejšiemu momentu, kedy mi budeme niečo niekoľko minút ukazovať a vidiaci budú vidieť stále to isté – banner cookies. V lepšom prípade nás upozornia, v horšom budú taktne mlčať. 😆
Rukopis už nie je problém
Z tejto vychytávky má autor tohto článku mimoriadne potešenie. Doterajšie pokusy rôznych softvérových riešení mali prakticky nulové výsledky, ako sa však ukazuje, AI si poradí aj s rukou napísaným textom. Stačí teda tradičnú pohľadnicu, list, trebárs aj ručne písané poznámky zo školských čias vložiť do skenera a uložiť ich ako obrázok. V Be My Eyes už len stačí cez tlačidlo Opíšte obrázok z Prieskumníka súborov (skratka Alt + Ctrl + K) obrázok nájsť a počkať na výsledok rozpoznania. Nedajte si radosť z rukou napísaných blahoželaní k sviatkom vziať!
Záverečné zhrnutie
Rozpoznávanie obrázkov umelou inteligenciou má oveľa väčší potenciál, než sa na prvý pohľad môže zdať. Pravda, zatiaľ trpí „detskými chorobami“, čo 100 percent spoľahlivosti trošku znižuje, ale už teraz je jasné, že čím dlhšie sa bude umelá inteligencia učiť, tým presnejšie výsledky bude poskytovať a asistenčné technológie z nej budú čoraz viac ťažiť. Na nás používateľoch bude, pochopiteľne, už „len“ naučiť sa ju čo najlepšie zvládať. Teraz sa stačí len správne rozhodnúť a klásť správne otázky. Tak sa teda pýtajte! Bude vám zodpovedané!
Děkuji, za shrnutí všech výhod a nevýhod a zároveň za názorné předvedení.