Dostępna jest funkcja Microsoft Copilot Vision, dzięki której sztuczna inteligencja widzi, co robisz online

Microsoftu drugi pilot Stawać się mądrzejszym z dnia na dzień. Firma pod przewodnictwem Satyi Nadelli właśnie ogłosiła, że ​​jej asystent AI ma teraz możliwości „wizji”, które umożliwiają mu przeglądanie Internetu wraz z użytkownikami.

Chociaż tę funkcję po raz pierwszy ogłoszono w październiku tego roku, firma testuje ją obecnie z wybraną grupą klientów Pro. Według Microsoftu użytkownicy ci będą mogli uruchomić Copilot Vision na stronach internetowych otwieranych w przeglądarce Edge i wchodzić z nią w interakcję w zakresie treści widocznych na ekranie.

Ta funkcja jest wciąż na wczesnym etapie rozwoju i jest dość ograniczona, ale po jej pełnym rozwinięciu może okazać się przełomem dla klientów korporacyjnych Microsoftu – zapewniając im bardziej płynną interakcję z produktami firmy analiza i podejmowanie decyzji. Jego ekosystem (OneDrive, Excel, SharePoint itp.)

Na dłuższą metę interesujące będzie również sprawdzenie, jak Copilot Vision radzi sobie z bardziej otwartymi i wydajnymi ofertami agentów, takimi jak Anthropic i Emergence AI, które umożliwiają programistom integrowanie agentów w celu obserwacji, wyciągania wniosków i podejmowania działań w różnych aplikacjach Pozwala zrobić. dostawcy.

Czego można się spodziewać po Copilot Vision?

Gdy użytkownik otwiera witrynę internetową, może mieć zamierzony cel lub nie. Kiedy jednak tak się dzieje, podobnie jak w przypadku zbierania materiałów do pracy akademickiej, proces wykonywania żądanego zadania polega na przejrzeniu witryny internetowej, przeczytaniu całej jej zawartości, a następnie podjęciu decyzji (np. czy zawartość witryny powinna zostać użyte jako odniesienie do artykułu, czy nie). To samo dotyczy innych codziennych zadań w sieci, takich jak zakupy.

Dzięki nowemu doświadczeniu CoPilot Vision firma Microsoft zamierza uprościć cały ten proces. Zasadniczo użytkownik ma teraz asystenta, który znajduje się na dole przeglądarki i można go wywołać, gdy zajdzie taka potrzeba, aby przeczytać zawartość witryny, sprawdzić cały tekst i obrazy oraz pomóc w podjęciu decyzji.

Może natychmiast skanować, analizować i dostarczać wszystkich niezbędnych informacji, mając na uwadze pożądany cel użytkownika – jak druga para oczu.

Ta funkcja ma dalekosiężne korzyści – może przyspieszyć przepływ pracy w krótkim okresie – ale ma też poważne implikacje, biorąc pod uwagę, że agent czyta i ocenia to, co przeglądasz. Microsoft zapewnił jednak, że po zamknięciu sesji Vision cały kontekst i informacje udostępnione przez użytkowników zostaną usunięte. Zauważono również, że dane ze stron internetowych nie są przechwytywane/przechowywane w celu uczenia podstawowych modeli.

„Krótko mówiąc, priorytetowo traktujemy prawa autorskie, twórców oraz prywatność i bezpieczeństwo naszych użytkowników – i stawiamy je wszystkie na pierwszym miejscu” – napisał zespół Copilot w poście na blogu ogłaszającym wersję zapoznawczą tej funkcji.

Rozwój w oparciu o opinie

Obecnie zestaw wyboru Klient drugiego pilota W USA osoby, które zapisały się do programu wczesnego dostępu CoPilot Labs, będą mogły korzystać z funkcji Vision w swojej przeglądarce Edge. Opcja ta będzie dostępna dobrowolnie, co oznacza, że ​​nie będą musieli się martwić, że sztuczna inteligencja będzie cały czas czytać ich ekran.

Ponadto na tym etapie będzie działać tylko z wybranymi witrynami internetowymi. Microsoft twierdzi, że zbierze opinie pierwszych użytkowników i stopniowo będzie poprawiał możliwości, rozszerzając jednocześnie wsparcie na większą liczbę użytkowników Pro i inne strony internetowe.

W dłuższej perspektywie firma może rozszerzyć te możliwości także na inne produkty w swoim ekosystemie, takie jak OneDrive i Excel, ułatwiając użytkownikom korporacyjnym pracę i podejmowanie decyzji. Jednak nie ma jeszcze oficjalnego potwierdzenia. Nie trzeba dodawać, że wskazane tutaj ostrożne podejście może zająć trochę czasu, zanim stanie się rzeczywistością.

Decyzja Microsoftu o udostępnieniu wersji zapoznawczej Copilot Vision następuje w momencie, gdy konkurenci podnoszą poprzeczkę w dziedzinie agentycznej sztucznej inteligencji. Salesforce uruchomiło już Agentforce w swojej ofercie Customer 360, aby automatyzować przepływy pracy w takich domenach, jak sprzedaż, marketing i obsługa.

W międzyczasie firma Anthropic uruchomiła opcję „Computer Use”, która umożliwia programistom integrację chmury w celu interakcji ze środowiskami komputerów stacjonarnych i wykonywania zadań, które wcześniej były wykonywane wyłącznie przez ludzi, takich jak otwieranie aplikacji, interakcja z interfejsami i wypełnianie formularzy.