Czy model AI rzetelnie oceni, czy pomysł badawczy jest nowy?

Od pewnego czasu trwa eksperymentowanie z tym, czy duże modele językowe mogą zastąpić albo przynajmniej wesprzeć człowieka w jednym z trudniejszych zadań naukowych: ocenie, czy dany pomysł badawczy jest naprawdę oryginalny. Pytanie brzmi nie "czy AI coś zaproponuje", tylko "czy możemy ufać tej ocenie". To dwie zupełnie różne rzeczy.

Wyniki są niejednoznaczne. Model potrafi wykryć oczywiste nakładanie się z istniejącą literaturą, zwłaszcza gdy sama idea jest opisana precyzyjnie i gdy temat jest dobrze reprezentowany w danych treningowych. Gorzej radzi sobie z subtelnymi różnicami, z pracami opublikowanymi blisko daty jego trenowania i z obszarami niszowymi, gdzie literatura jest skąpa. Do tego modele bywają przesadnie pewne swoich ocen, co jest może nawet groźniejsze niż ich nieomylność.

Co to oznacza dla polskich urzędów i instytucji publicznych

Polska ma kilkadziesiąt instytucji, które każdego roku recenzują tysiące wniosków grantowych, prac doktorskich, raportów z projektów badawczych czy zgłoszeń patentowych. Koszt eksperckiej recenzji jest wysoki. Czas oczekiwania długi. Nic dziwnego, że pomysł wstępnego filtrowania przez AI wydaje się atrakcyjny.

Ale tu leży pułapka. Jeśli komitet grantowy zacznie odrzucać wnioski na podstawie oceny AI, która "uznała, że to już było", a ocena ta była błędna, traci finansowanie projekt, który mógł być przełomowy. Ryzyko jest asymetryczne. Ludzki recenzent popełnia błędy, ale rozumie kontekst, potrafi zapytać, zna pole. Model odpowiada na podstawie statystyk swojego trenowania.

• Jako narzędzie pomocnicze, nie decyzyjne – AI może przygotować mapę podobnych prac, wskazać potencjalne pokrycia z literaturą, skrócić czas, który recenzent spędza na przeszukiwaniu baz. Decyzja zostaje przy człowieku.
• Obszary o bogatej literaturze angielskojęzycznej działają lepiej niż polskie tematy z wąskich dyscyplin. Instytucje oceniające projekty z zakresu np. lokalnej historii czy prawa krajowego powinny być ostrożne.
• Wiedza o dacie trenowania modelu to warunek sensownego użycia. Prace z ostatnich dwunastu miesięcy mogą być dla niego niewidoczne.
• Kalibracja oczekiwań – "model wskazał podobieństwo" to nie to samo co "pomysł nie jest nowy". Warto wdrożyć jasne zasady interpretacji takich sygnałów przed włączeniem narzędzia do formalnego procesu.

Jedna rzecz jest w tym wszystkim niedoceniana: samo sformułowanie pytania do modelu ma ogromne znaczenie. Ten sam pomysł opisany technicznie i lakonicznie dostanie inną ocenę niż ten sam pomysł opisany obszernie z kontekstem. To tworzy nierówność między wnioskodawcami, którzy umieją pisać "pod AI", a tymi, którzy tego nie robią.

Dla instytucji badawczych i agencji finansujących wniosek jest jeden: AI w ocenie nowości to realne wsparcie, ale tylko wtedy, gdy jest dobrze umocowane proceduralnie i gdy ludzie rozumieją, co tak naprawdę dostają z modelu. Chętnie pomożemy ocenić, czy i jak wdrożyć takie podejście w Waszej instytucji. Zapraszamy na bezpłatny audyt.