Gemini coraz lepiej rozumie zawartość ekranu telefonu

Aktualizujemy Google Bliźnięta na Androidzie aby sztuczna inteligencja lepiej wykorzystywała zawartość ekranu. Aktualizacja powinna umożliwić Gemini wykorzystanie jednego z najlepszych przypadków użycia, pomagając Ci zrozumieć ograniczony zestaw danych w ciągu dnia.

Jeśli ustawisz Gemini jako domyślną pomoc na swoim telefonie z Androidem, będzie ona już mogła podsumowywać lub odpowiadać na pytania dotyczące strony internetowej lub zrzutu ekranu. Wkrótce będzie także w stanie stwierdzić, czy na ekranie znajduje się film, i poprosi Cię o zadawanie pytań na ten temat. Gemini korzysta z automatycznych napisów w filmie, aby znaleźć odpowiedzi — jest to coś, co już możesz zrobić w bardziej okrężny sposób.

Gemini również zastosuje podobną wskazówkę, jeśli spojrzysz na plik PDF, ale jest pewien haczyk: aby z niego skorzystać, potrzebujesz dostępu do płatnej wersji Google, Gemini Advanced. Dzieje się tak, ponieważ funkcja ta pobiera cały plik PDF, dlatego wymaga długiego okna kontekstowego dostępnego dla subskrybentów Gemini Advanced. Ale kiedy już załaduje plik PDF, w zasadzie zamienisz go w eksperta w dowolnej dziedzinie – może to będzie instrukcja obsługi Twojej zmywarki lub lokalne wytyczne dotyczące recyklingu przy krawężniku. Gemini Advanced jest częścią 20 dolarów miesięcznie Plan Google One AI Premium.

Jest jeszcze jedna drobna aktualizacja — wkrótce będziesz mógł przeciągać i upuszczać obrazy wygenerowane przez Gemini do tego, nad czym pracujesz, bez konieczności przełączania się między aplikacjami. Wystarczy przytrzymać obraz w nakładce Gemini i przeciągnąć go do czatu lub wiadomości e-mail. W sumie daje to efekt końcowy sprawiający, że Gemini mniej przypomina rzecz, którą musisz kupić i która jest po prostu płynnie zintegrowana z resztą systemu.

Przypomina to również, że Google realizuje swoje marzenie o wyszukiwaniu kontekstowym od ponad dekady — pamiętaj o Google Now? Myślę, że to znaczący krok naprzód; najlepsze wykorzystanie Asystenta Gemini, z jakim się spotkałem, to prosząc o zapamiętanie przepisu na obiad żebym mógł zadawać mu pytania, poruszając się po kuchni i gotując. Brzmi prosto, ale wydaje mi się o wiele bardziej praktyczne niż kwestionowanie sztucznej inteligencji w zakresie całej wiedzy dostępnej w Internecie.

Aktualizacje Google Gemini na Androida zostaną udostępnione „w ciągu najbliższych kilku miesięcy na setkach milionów urządzeń”, a pracujemy nad większą liczbą funkcji kontekstowych.