Dlaczego jedno pytanie do ChatGPT niczego nie dowodzi
Modele językowe generują odpowiedź za każdym razem od nowa. To samo pytanie zadane dwa razy z rzędu może dać inną listę firm, inną kolejność albo inne uzasadnienie. Dochodzą do tego zmiany po stronie dostawcy: nowe wersje modelu, zmiany w sposobie korzystania z wyszukiwarki i aktualizacje indeksu źródeł. Pojedynczy zrzut ekranu z poleceniem, który ktoś pokazuje jako dowód skuteczności, jest więc tylko anegdotą.
Na wynik wpływa też to, kto pyta. Asystent może korzystać z pamięci wcześniejszych rozmów, z ustawień personalizacji i z przybliżonej lokalizacji użytkownika. Właściciel firmy, który wielokrotnie rozmawiał z ChatGPT o swojej działalności, może widzieć swoją firmę częściej niż przypadkowy klient. Dlatego test trzeba zaprojektować tak, żeby ograniczyć te zakłócenia.
Krok 1: przygotuj listę pytań według intencji
Zacznij od kilkunastu do kilkudziesięciu pytań, które realnie zadaje Twój klient. Najlepiej spisać je na podstawie rozmów sprzedażowych, pytań z formularzy i fraz z Search Console. Pogrupuj je według intencji, bo w każdej grupie asystent zachowuje się inaczej.
| Grupa pytań | Przykład | Co sprawdzasz |
|---|---|---|
| Kategoria usługi | Jaka firma robi audyt SEO sklepu internetowego? | Czy jesteś w ogóle brany pod uwagę w swojej kategorii |
| Lokalne | Polećcie dentystę na Ligocie w Katowicach | Czy asystent łączy firmę z miastem i dzielnicą |
| Problem klienta | Spadł mi ruch po aktualizacji Google, kto pomoże? | Czy pojawiasz się, gdy klient opisuje problem, a nie usługę |
| Porównanie | Firma A czy firma B do pozycjonowania sklepu? | Jak jesteś opisany na tle konkretnych konkurentów |
| Marka | Co wiesz o firmie X z Katowic? | Czy dane o firmie są poprawne i aktualne |
Krok 2: ustal warunki testu i trzymaj się ich
Wynik ma sens tylko wtedy, gdy przy kolejnych pomiarach warunki są takie same. Zapisz je raz i powtarzaj co miesiąc.
- Używaj czatu tymczasowego albo osobnego konta bez historii rozmów, z wyłączoną pamięcią i personalizacją.
- Każde pytanie zadawaj w nowej rozmowie, bez wcześniejszego kontekstu o Twojej firmie.
- Zapisz, czy asystent korzystał z wyszukiwania w sieci, bo odpowiedź z wyszukiwaniem i bez niego to dwa różne testy.
- Notuj nazwę lub wersję modelu, jeśli produkt ją pokazuje, oraz datę i godzinę.
- Przy pytaniach lokalnych zapisz, skąd testujesz, bo przybliżona lokalizacja może zmieniać wynik.
- Zadaj każde pytanie kilka razy, na przykład trzy, i zapisz wszystkie wyniki, a nie tylko najlepszy.
Krok 3: sprawdź kilku asystentów, nie tylko ChatGPT
Klienci korzystają z różnych narzędzi, a każde z nich ma inne źródła i inne zasady pokazywania firm. Firma widoczna w jednym asystencie może być nieobecna w innym. Dlatego warto testować co najmniej kilka produktów, które są popularne wśród Twoich klientów.
ChatGPT
Może odpowiadać z wiedzy modelu albo z wyszukiwania w sieci. Według publicznie dostępnych informacji przy wyszukiwaniu korzysta między innymi z wyników Binga oraz z własnego robota OpenAI. Sprawdzaj, czy pod odpowiedzią pojawiają się źródła.
Microsoft Copilot
Opiera odpowiedzi na wyszukiwarce Bing, dlatego dobra obecność w Bingu i w Bing Places ma tu szczególne znaczenie.
Google Gemini, AI Overviews i tryb AI
Korzystają z ekosystemu Google, w tym z indeksu wyszukiwarki i danych z wizytówek. Wyniki dla pytań lokalnych często odwołują się do Map Google.
Perplexity
Wyraźnie pokazuje numerowane źródła przy każdej odpowiedzi, więc łatwo sprawdzić, które strony wpływają na opis Twojej branży.
Krok 4: zapisuj wyniki w arkuszu
Najprostsze narzędzie to arkusz kalkulacyjny z jednym wierszem na każdą próbę. Dzięki temu po kilku miesiącach zobaczysz trend, a nie przypadkowe wahania. Kolumny, które warto mieć:
- data, asystent, model lub tryb, wyszukiwanie włączone lub nie,
- treść pytania i grupa intencji,
- czy firma została wymieniona i na której pozycji listy,
- jak firma została opisana, w tym czy opis jest zgodny z prawdą,
- błędne dane, na przykład stary adres, nieistniejąca usługa, zły telefon,
- źródła podane przez asystenta, jeśli są widoczne,
- konkurenci wymienieni w tej samej odpowiedzi.
Jak interpretować wyniki i co z nimi zrobić
Zamiast pytać, czy firma jest polecana, licz udział: w ilu próbach na ile firma się pojawiła. Taki wskaźnik, liczony osobno dla każdej grupy pytań i każdego asystenta, pokazuje, gdzie jesteś mocny, a gdzie nieobecny. Porównuj go z konkurentami z tej samej odpowiedzi, bo sama liczba bez kontekstu mówi niewiele.
Najcenniejsze są zwykle kolumny ze źródłami i błędami. Jeśli asystent podaje nieaktualny adres, szukaj miejsca w sieci, z którego mógł go pobrać, i popraw dane u źródła. Jeśli cytuje katalogi branżowe lub portale, w których Cię nie ma, to wskazówka, gdzie warto zadbać o rzetelny wpis. Jeśli konkurent jest opisywany konkretniej, porównaj, jak jego strona opisuje usługi. Działania, które zwiększają szanse na obecność, opisujemy w poradniku o pojawianiu się w ChatGPT i odpowiedziach AI.
Najczęstsze pytania
Jak często sprawdzać, czy ChatGPT poleca moją firmę?
Raz w miesiącu wystarczy większości firm. Częstsze testy pokazują głównie losowe wahania odpowiedzi, a zmiany wynikające z Twoich działań, takich jak nowe treści czy wpisy w katalogach, zwykle widać dopiero po dłuższym czasie.
Dlaczego ChatGPT poleca moją firmę mnie, a klientowi już nie?
Najczęściej przez pamięć i personalizację: jeśli rozmawiałeś z asystentem o swojej firmie, mógł to zapamiętać. Znaczenie ma też lokalizacja, tryb wyszukiwania i zwykła losowość odpowiedzi. Testuj w czacie tymczasowym lub na czystym koncie.
Czy są narzędzia, które automatycznie mierzą obecność w AI?
Tak, na rynku są narzędzia do monitorowania odpowiedzi asystentów. Warto jednak wiedzieć, jak zbierają dane, bo odpowiedzi przez interfejs programistyczny mogą różnić się od tych, które widzi użytkownik w aplikacji. Ręczny test na stałej liście pytań dobrze uzupełnia takie narzędzia.
Co zrobić, gdy asystent podaje błędne informacje o firmie?
Zapisz błąd i źródła, jeśli asystent je pokazuje. Popraw dane na własnej stronie, w wizytówkach i w katalogach, w których występują. Nie da się ręcznie edytować odpowiedzi modelu, ale spójne i aktualne dane w źródłach zwiększają szansę na poprawny opis.
Czy możecie przeprowadzić taki test dla mojej firmy?
Tak, sprawdzanie obecności marki w odpowiedziach asystentów AI jest częścią naszego audytu widoczności w AI. Przygotowujemy listę pytań, opisujemy warunki testu i wskazujemy źródła, które warto poprawić. Zakres ustalamy indywidualnie.
Zobacz także
- Audyt widoczności w AI
- Jak pojawić się w ChatGPT i odpowiedziach AI
- Jak być cytowanym przez Perplexity
- Wzmianki o marce bez linków
- Share of voice: definicja
- Pozycjonowanie w AI (GEO, AEO)
- Bing Webmaster Tools: jak skonfigurować i dlaczego to ma znaczenie dla wyszukiwania w AI
- Bing Places i Apple Business Connect: wizytówki firmy poza Google
- Dane strukturalne dla firmy lokalnej: LocalBusiness w JSON-LD krok po kroku
