W poniedziałek iOS 18.2 beta 2 został udostępniony programistom i testerom w kanale beta dla deweloperów, podczas gdy Apple przygotowuje kolejną wersję systemu operacyjnego dla smartfonów, która ma pojawić się na początku grudnia i będzie zawierać więcej funkcji Apple Intelligence. Najnowsze wersje beta obejmują także obsługę nowego interfejsu programowania aplikacji (API), który umożliwi programistom zapewnienie systemowi dostępu do treści wyświetlanych na ekranie, umożliwiając Siri i Apple Intelligence wysyłanie informacji do usług stron trzecich w celu przetworzenia.
Apple wprowadza interfejs API dla funkcji rozpoznawania na ekranie Siri
Na stronie internetowej Apple Developer firma udostępniła dokumentacja (przez Macrumors) dla nowego interfejsu API zatytułowanego „Udostępnianie treści ekranowych Siri i Apple Intelligence”, którego zadaniem jest umożliwienie dostępu do treści ekranowych aplikacji, dzięki czemu Siri i Apple Intelligence mogą zrozumieć, do jakich treści uzyskuje dostęp użytkownik.
Według firmy, jeśli programista doda obsługę interfejsu API treści ekranowych, jego aplikacja udostępni zawartość ekranu Siri/Apple Intelligence, gdy użytkownik wyraźnie o to poprosi. Informacje na ekranie użytkownika można następnie udostępnić usłudze strony trzeciej (takiej jak ChatGPT OpenAI).
Firma Apple podała także przykład dostępu Siri do treści wyświetlanych na ekranie. Przeglądając Internet, użytkownik może powiedzieć lub wpisać „Hej, Siri, o czym jest ten dokument?” aby poprosić Siri o podsumowanie dokumentu.
Programiści mogą także dodać obsługę rozpoznawania ekranów w przeglądarkach, czytnikach dokumentów, aplikacjach do zarządzania plikami, poczcie, zdjęciach, prezentacjach, arkuszach kalkulacyjnych i aplikacjach do edytowania tekstu. Apple twierdzi, że ta lista nie jest wyczerpująca, więc w przyszłości więcej aplikacji powinno móc korzystać z interfejsu API.
Warto zaznaczyć, że iOS 18.2 nie przyniesie wsparcia dla nowej Siri, która ma oferować znacznie poprawioną funkcjonalność. Oczekuje się, że pojawi się to w iOS 18.4 wraz z obsługą działań w aplikacji, która podobno zostanie udostępniona przez Apple w kwietniu 2025 r., co będzie wystarczającym czasem dla programistów na zintegrowanie obsługi interfejsu API ze swoimi aplikacjami.
