Definicja i granice
Source selection to etap wyboru materiałów użytecznych do odpowiedzi. Trafność jest konieczna, ale nie wystarcza: znaczenie mogą mieć też aktualność, jednoznaczność twierdzeń, autorytet źródła, zgodność z innymi materiałami i różnorodność perspektyw. Granicą tego pojęcia jest jego funkcja w całym pipeline AI Search. Nie należy rozszerzać go na obszary, które mają inną rolę techniczną lub decyzyjną.
Miejsce w pipeline
Retrieval znajduje się pomiędzy interpretacją zapytania a generatywną odpowiedzią. Najpierw system musi znaleźć kandydatów, następnie może ich ponownie ocenić, rozpoznać encje, dobrać dowody i dopiero wtedy wykorzystać część informacji w odpowiedzi.
Jak projektować dokument
Dokument powinien mieć jasny temat, samowystarczalne fragmenty, jednoznaczne nagłówki i widoczne relacje pomiędzy twierdzeniami a dowodami. Kluczowa treść nie powinna zależeć od skomplikowanego JavaScript.
Jak wykorzystać to pojęcie w praktyce?
W kontekście „Source selection — dlaczego system używa jednego źródła, a pomija inne” najważniejsze jest, aby ustalić, jakie cechy źródła decydują o jego użyciu w konkretnej odpowiedzi. Po interpretacji zapytania system tworzy zbiór kandydatów, ocenia dokumenty lub fragmenty, a następnie ogranicza materiał do tego, co zmieści się w kontekście odpowiedzi. Na każdym etapie zasób może odpaść z innego powodu: niedostępności, słabego dopasowania, braku dowodu albo niższej użyteczności niż konkurencyjny fragment.
Przykład i sposób weryfikacji
Strona może być zaindeksowana i zajmować dobrą pozycję w klasycznym wyszukiwaniu, lecz nie zostać użyta w odpowiedzi. Przyczyną może być zbyt szeroki fragment, niejasny podmiot twierdzenia albo brak informacji potrzebnej do rozstrzygnięcia konkretnego kryterium.
Granice interpretacji
Cytowanie pozwala potwierdzić użycie źródła, ale brak cytowania nie dowodzi, że dokument nie uczestniczył w retrieval. Interfejs może nie ujawniać wszystkich materiałów, dlatego wnioski powinny dotyczyć obserwowanej próby.
Wniosek dotyczący „Source selection — dlaczego system używa jednego źródła, a pomija inne” powinien wskazywać, co rzeczywiście zaobserwowano, czego nie da się potwierdzić oraz jaki następny test może rozstrzygnąć wątpliwość. Taka forma chroni czytelnika przed pozorną pewnością i pozwala wykorzystać dokument jako część powtarzalnej metodologii AI Search.
Co sprawdzić dalej?
Ten dokument jest częścią spójnego modelu AI Search. Kolejny krok zależy od tego, czy problem dotyczy query processing, retrieval, encji, źródeł, architektury czy pomiaru.