Anomalia w Gemini Google: AI wyświetla niewłaściwe obrazki z załączników

Co się faktycznie wydarzyło?

Po dalszej analizie okazało się, że link prowadzi do dokumentacji Elastic na Discourse. To wskazuje na inny, ale równie problematyczny problem: niekontrolowane referencje AI do zewnętrznych zasobów podczas generowania dokumentów. Gemini samowolnie dodał obrazek z dokumentacji zamiast używać moich załączników. Klasyka.

Niewłaściwe obrazy w artefakcie Gemini

Podczas dzisiejszej pracy z audytem wydajności jednego ze sklepów internetowych, gdy korzystałem z Gemini Google PRO do przygotowania raportu końcowego natrafiłem na ciekawą anomalię. Po załączeniu zrzutów ekranu z konsoli i wykresów z Grafany, AI zaczął wyświetlać zupełnie inne obrazki niż te, które faktycznie przesłałem.

W momencie tworzenia raportu końcowego audytu pewnego rozwiązania poprawiałem go w gemini i problem ujawnił się podczas tworzenia artefaktu z finalną wersją audytu. Gemini wygenerował dokument zawierający obrazki spoza moich załączników - pojawił się link do Elastic/Discourse CDN https://us1.discourse-cdn.com/elastic/original/3X/e/1/e1ee022063de6bd2ddb865e955723f768512108d.png, podczas gdy ja załączyłem wyłącznie wykresy z Grafany pokazujące zużycie CPU. Oczywiście ciekawe jest też to, że podaje link do CDN discourse.

Mój plik:

Tutaj w Google Docs:

W trakcie tworzenia kolejnej wersji artefaktu gemini załączyło w treści inny obrazek. Po eksporcie całości do Google Drive, otrzymałem inne linki niż faktycznie załączone, co jest empirycznym dowodem na występowanie problemu z bezpieczeństwem danych.

Czy to problem?

Zależy jak popatrzeć, moim zdaniem bardzo poważny. Ten przypadek wskazuje na możliwe mieszanie się kontekstów między użytkownikami lub błąd w systemie zarządzania załącznikami. Dodatkowo czego nigdy nie opisałem korzystając intensywnie z AI w kontekście radykalnych ruchów USA miałem bardzo dużo przebitek rosyjskojęzycznych słów co oznacza na leak kontekstu i potencjalny poisoning / karmienie przez służby rosyjskie (prawdopodobnie) treściami albo seo spamem w celu manipulacji algorytmami rekomendacyjnymi. Jednak wróćmy do obecnego problemu. Potencjalne konsekwencje:

• Wyciek poufnych danych między różnymi sesjami użytkowników
• Kompromitacja dokumentów biznesowych i osobistych informacji
• Naruszenie RODO i innych regulacji dot. ochrony danych
• Problemy z integracją z Google Workspace w środowiskach korporacyjnych

Kontekst historyczny

Google Gemini miał już wcześniej problemy z wyciekami danych - w lutym 2024 roku prywatne rozmowy użytkowników pojawiały się w wynikach wyszukiwania Google. Badacze z HiddenLayer odkryli również podatności umożliwiające wycieki system promptów i indirect injection poprzez Google Drive.

Status i rekomendacje

Na przyszły tydzień planuję test reprodukowalności tego problemu. Ze względu na potencjalną wagę sprawy:

1. Unikajcie przesyłania wrażliwych dokumentów do Gemini Google
2. Sprawdzajcie dokładnie wszystkie załączniki w wygenerowanych raportach
3. Dokumentujcie wszelkie anomalie - może to pomóc w identyfikacji wzorca

Nie planuję zgłoszenia tej sprawy do Google przez oficjalne kanały bezpieczeństwa, bo próbowałem to zrobić z GPT i straciłem czas. Jest to kolejny przypadek pokazujący, że systemy AI wymagają znacznie bardziej rygorystycznych kontroli bezpieczeństwa, szczególnie w kontekście obsługi załączników i separacji danych między użytkownikami. Pisałem już o problemie SVG oraz możliwości spakowania spakowanego załącznika oraz tworzenia złośliwego kodu opakowanego w SVG do pobrania.

Niestety z powodu obłożenia pracą nie sprawdzę na cito sprawy, czy problem jest reprodukowalny i czy dotyczy tylko funkcji eksportu, czy również samej analizy załączników w czasie rzeczywistym. Wrzucam w internet, jeśli ktoś ma czas może eskalować…

• AI
• Seria Ai
• Gemini
• Cybersecurity
• Data-Leak