Definicja i granice
Prompt set to kontrolowany zestaw pytań reprezentujących realne intencje użytkowników. Powinien obejmować zapytania definicyjne, porównawcze, zakupowe, lokalne, problemowe i brandowe. Granicą tego pojęcia jest jego funkcja w całym pipeline AI Search. Nie należy rozszerzać go na obszary, które mają inną rolę techniczną lub decyzyjną.
Warunki badania
Każdy test zapisuje model, datę, język, lokalizację, stan konta, prompt, liczbę powtórzeń i źródła. Dopiero wtedy wynik można porównywać w czasie lub między systemami.
Interpretacja
Wysoki wynik jednego wymiaru nie kompensuje automatycznie błędu w innym. Marka może mieć świetną crawlability, ale słabe dowody; może też mieć silną reputację, ale niską stabilność rekomendacji.
Jak wykorzystać to pojęcie w praktyce?
W kontekście „Prompt set — stały zestaw pytań do powtarzalnego pomiaru” najważniejsze jest, aby utrzymać wersjonowany zestaw pytań odpowiadający rzeczywistym intencjom i etapom decyzji użytkownika. System nie musi wykonywać dosłownie pytania wpisanego przez człowieka. Może rozpoznać encje, doprecyzować warunki, utworzyć kilka zapytań pomocniczych i połączyć ich wyniki. Dlatego analizę należy zaczynać od potrzeby oraz wariantów jej realizacji, nie od jednej frazy.
Przykład i sposób weryfikacji
Dla pytania o wybór usługi zapytania pomocnicze mogą dotyczyć zakresu, ceny, lokalizacji, opinii i ryzyka. Dokument odpowiadający wyłącznie na definicję kategorii może wejść do jednego etapu wyszukiwania, ale nie dostarczyć danych potrzebnych do końcowej rekomendacji.
Granice interpretacji
Nie wolno przedstawiać hipotetycznego przekształcenia zapytania jako ujawnionego procesu konkretnego modelu. Bez logów systemu obserwujemy odpowiedzi i źródła, a mechanizm opisujemy jako najbardziej prawdopodobne wyjaśnienie.
Wniosek dotyczący „Prompt set — stały zestaw pytań do powtarzalnego pomiaru” powinien wskazywać, co rzeczywiście zaobserwowano, czego nie da się potwierdzić oraz jaki następny test może rozstrzygnąć wątpliwość. Taka forma chroni czytelnika przed pozorną pewnością i pozwala wykorzystać dokument jako część powtarzalnej metodologii AI Search.
Co sprawdzić dalej?
Ten dokument jest częścią spójnego modelu AI Search. Kolejny krok zależy od tego, czy problem dotyczy query processing, retrieval, encji, źródeł, architektury czy pomiaru.