Według doniesień wykonawcy Google Gemini zmuszeni są oceniać odpowiedzi, o których nie mają pojęcia

Jak w przypadku każdego modelu GenAI, odpowiedzi Google Gemini mogą czasami być błędne, ale w tym przypadku może to wynikać z tego, że testerzy nie mają wystarczającej wiedzy specjalistycznej, aby sprawdzić fakty.

Według TechCrunch firma zatrudniona do poprawy dokładności Gemini zleciła teraz swoim testerom ocenę odpowiedzi, nawet jeśli nie mają oni „wiedzy dziedzinowej”.

W raporcie rodzą się pytania dotyczące rygoru i standardów, jakie według Google stosuje w testach dokładności Gemini. W części „Odpowiedzialna produkcja” w Gemini 2.0 OgłoszenieGoogle oświadczyło, że „współpracuje z zaufanymi testerami i ekspertami zewnętrznymi w celu przeprowadzenia kompleksowej oceny ryzyka oraz oceny bezpieczeństwa i pewności”. Odpowiednią uwagę poświęca się ocenie reakcji na materiał wrażliwy i szkodliwy, ale mniej uwagi poświęca się reakcjom, które niekoniecznie są niebezpieczne, ale raczej niedokładne.

Wydaje się, że Google ignoruje problem halucynacji i błędów, po prostu dodając zastrzeżenie, że „Gemini może popełniać błędy, więc sprawdź dokładnie”, co skutecznie zwalnia go z wszelkiej odpowiedzialności. Ale to nie odnosi się do ludzi pracujących za kulisami.

Wcześniej spółka zależna Hitachi, GlobalLogic, poinstruowała swoich bezpośrednich inżynierów i analityków, aby porzucili reakcję Gemini, której nie do końca rozumieli. „Jeśli nie masz znaczącej wiedzy (np. kodowania, matematyki), aby ocenić ten monit, pomiń to zadanie” – czytamy w wytycznych, które otrzymał sklep.

Jednak w zeszłym tygodniu firma GlobalLogic zmieniła swoje instrukcje, mówiąc: „Nie należy pomijać podpowiedzi wymagających specjalnej wiedzy dziedzinowej” i zamiast tego „oceniać te części podpowiedzi, które rozumiesz” oraz Należy pamiętać, że firma nie ma niezbędnej wiedzy specjalistycznej do analizy ich. Innymi słowy, wiedza specjalistyczna nie jest uważana za warunek wstępny tej pracy.

Według TechCrunch wykonawcy mogą teraz zostawiać jedynie znaki, które zawierają „całkowicie brakujące informacje” lub zawierają poufne treści wymagające formularza zgody.