Indeks Polskiego AI Edukacyjnego
Pierwszy w Polsce codzienny pomiar jakości modeli sztucznej inteligencji w polskich egzaminach państwowych. Żywy wskaźnik, który pokazuje, jak szybko AI zmienia polską edukację.
ChatGPT zdaje polską maturę. Claude poprawia wypracowania szybciej niż polonista. Gemini rozwiązuje zadania z matematyki rozszerzonej w kilka sekund. Bielik: polski model AI, próbuje dogonić amerykańską konkurencję.
Wszyscy wiedzą, że tak jest. Ale nikt nie wie dokładnie, jak dobrze. Jakie są różnice między modelami? Kto lepszy z matematyki, a kto z języka polskiego? Jak bardzo zmienia się wynik po każdej aktualizacji? Czy polski Bielik realnie konkuruje z amerykańskimi modelami, czy tylko próbuje?
Na żadne z tych pytań nie ma dziś w Polsce odpowiedzi opartej na twardych danych. Istnieją globalne benchmarki: MMLU, HumanEval, ARC, ale są anglojęzyczne i mierzą rzeczy, które nie mają nic wspólnego z polską szkołą. Publikowane w polskich mediach „testy AI” bazują najczęściej na kilkunastu pytaniach wybranych przez dziennikarza.
Indeks Polskiego AI Edukacyjnego zmienia to. Codziennie, automatycznie, bez przerw.
Co dokładnie mierzy indeks
Indeks Polskiego AI Edukacyjnego jest żywym, codziennie aktualizowanym benchmarkiem modeli sztucznej inteligencji, testowanych na tych samych pytaniach, które polscy uczniowie widzą na egzaminach państwowych: od egzaminu ósmoklasisty, przez maturę podstawową i rozszerzoną, po egzaminy zawodowe.
Każdej nocy automatyczny system zadaje setki pytań sześciu największym modelom AI przez ich oficjalne API, zbiera odpowiedzi, ocenia je według kluczy egzaminacyjnych CKE (lub: w przypadku pytań otwartych: przy pomocy niezależnego modelu oceniającego), zapisuje wyniki w bazie danych i aktualizuje publiczne rankingi.
Wynikiem jest nie pojedynczy raport, ale ciągły obserwatorium rozwoju AI. Każda aktualizacja ChatGPT, każda nowa wersja Bielika, każda zmiana w Gemini: widzimy to w danych w ciągu 24 godzin.
Cztery kluczowe pytania, na które odpowiada indeks
Który model AI najlepiej zdaje polskie egzaminy, i w czym każdy z nich jest silny?
Jak dobrze polski model Bielik konkuruje z amerykańskimi i chińskimi gigantami, i czy różnica się zmniejsza, czy powiększa?
Jak modele radzą sobie ze specyficznie polskimi tematami: Mickiewiczem, historią PRL-u, polską ortografią, które nie mają odpowiedników w angielskojęzycznych benchmarkach?
Jak gwałtownie rośnie jakość AI z wersji na wersję, i kiedy realnie osiągnie poziom najlepszych polskich uczniów?
Lista testowanych modeli AI
Indeks testuje sześć głównych rodzin modeli dostępnych komercyjnie w Polsce. Lista jest aktualizowana, gdy pojawi się nowa wersja lub nowy istotny model, dołączamy go do badania w ciągu 7 dni od premiery. Starsze wersje pozostają w bazie do celów porównań historycznych.
ChatGPT
Testowane wersje: GPT-4o, GPT-5 oraz kolejne. Najpopularniejszy model AI w Polsce, używany przez większość uczniów.
USAClaude
Testowane wersje: Sonnet, Opus (najnowsze). Model chwalony za jakość rozumowania i długie odpowiedzi: istotny w wypracowaniach.
USAGemini
Testowane wersje: Pro, Ultra. Zintegrowany z wyszukiwarką Google: coraz częściej pierwsza odpowiedź, którą widzi polski uczeń.
USABielik
Polski model językowy, rozwijany z udziałem NASK. Kluczowy punkt odniesienia: odpowiedź na pytanie, czy Polska ma własne AI na poziomie globalnym.
PolskaDeepSeek
Chiński model, który w 2025 wstrząsnął rynkiem AI wysoką jakością przy niskich kosztach. Popularny wśród polskich uczniów jako alternatywa dla płatnego ChatGPT.
ChinyGrok
Model Elona Muska, zintegrowany z platformą X. Włączony do badania ze względu na rosnącą popularność w polskim internecie.
USADodatkowe modele rozważane do włączenia w kolejnych iteracjach: Mistral Large (Francja), Qwen (Chiny), Meta Llama, polskie modele pochodne od PLLuM.
Baza pytań testowych
Fundamentem indeksu jest rozbudowana baza zadań egzaminacyjnych. Na start uruchamiamy pomiar z bazą liczącą około 1 000 pytań, rozszerzaną co miesiąc. Docelowo, po roku działania, baza będzie liczyć minimum 5 000 pytań rozłożonych równomiernie między poziomy i przedmioty.
Pokrycie poziomów i przedmiotów
| Poziom egzaminu | Przedmioty | Pytań na start | Docelowo |
|---|---|---|---|
| Egzamin ósmoklasisty | Język polski, matematyka, język angielski | 200 | 1 000 |
| Matura podstawowa | Język polski, matematyka, angielski, drugi język obcy | 250 | 1 200 |
| Matura rozszerzona | Matematyka, biologia, chemia, fizyka, historia, WOS, geografia, informatyka, polski, angielski | 400 | 2 000 |
| Egzaminy zawodowe | Wybrane branże: informatyka, ekonomia, technik elektryk, technik budownictwa, gastronomia, logistyka | 150 | 800 |
Typy pytań w bazie
| Typ pytania | Udział w bazie | Metoda oceny |
|---|---|---|
| Zamknięte (ABCD, prawda/fałsz, dopasowanie) | ~35% | Automatyczna: dokładne dopasowanie do klucza |
| Obliczeniowe (matematyka, fizyka, chemia) | ~25% | Automatyczna: porównanie wyniku numerycznego z tolerancją |
| Krótkie otwarte (definicje, uzupełnienia) | ~20% | Półautomatyczna: LLM-as-judge z kluczem CKE |
| Długie otwarte (wypracowania, rozprawki, analiza źródła) | ~15% | LLM-as-judge z rubryką + co miesiąc weryfikacja przez eksperta-ewaluatora |
| Specjalistyczne (interpretacja tekstu literackiego, ustna) | ~5% | Ewaluacja ekspercka (raz w miesiącu) |
Źródła pytań
- Arkusze CKE: archiwalne egzaminy państwowe z lat 2015-2025, publicznie dostępne na cke.gov.pl.
- Informatory CKE: oficjalne zbiory przykładowych zadań z kluczami odpowiedzi.
- Pytania z bazy egzamin.pl: nasza własna baza autorska, nie występująca w materiałach treningowych modeli AI (kluczowy element zabezpieczenia przed kontaminacją, opisany w rozdziale 8).
- Zadania parafrazowane: klasyczne zadania egzaminacyjne z przekształconymi liczbami, nazwami własnymi i sformułowaniami (tzw. „distribution shift test”).
Wymiary analizy
Każda odpowiedź każdego modelu jest tagowana według kilku wymiarów, co pozwala na krojenie danych w praktycznie nieograniczony sposób. Ważniejsze przekroje:
| Wymiar | Przykładowe kategorie | Do czego służy |
|---|---|---|
| Przedmiot | matematyka, polski, angielski, biologia, chemia, fizyka, historia, WOS, geografia, informatyka, zawodówka | Ranking per przedmiot: „który model najlepszy z matematyki” |
| Poziom | 8-klasista / matura podstawowa / matura rozszerzona / zawodowy | Pokazuje, na jakim poziomie trudności modele zaczynają się łamać |
| Typ rozumowania | fakt / obliczenie / interpretacja / wnioskowanie / kreatywne | Identyfikuje mocne i słabe strony kognitywne modeli |
| Polskość | uniwersalne / specyficznie polskie (Mickiewicz, historia Polski, prawo polskie, realia kulturowe) | Pokazuje, jak modele trenowane głównie na angielskich korpusach radzą sobie z polskim kontekstem |
| Długość odpowiedzi wymaganej | krótka / średnia / rozprawka / wypracowanie | Mierzy spójność odpowiedzi w dłuższej perspektywie |
| Data publikacji pytania | przed 2023 / 2023-2024 / po 2024 (po cut-off większości modeli) | Kontrola kontaminacji danych treningowych |
Publikowane wskaźniki
Na publicznej stronie indeksu dziennie aktualizują się dziesiątki wskaźników. Najważniejsze z nich to:
Wskaźnik główny (flagship)
IPAE Score: zagregowany wynik modelu, wyrażony w procentach (0-100). Średnia ważona wyników we wszystkich przedmiotach i poziomach, liczona po ostatnich 7 dniach pomiarów. Główna liczba, którą cytują media.
Liczby wyłącznie poglądowe, tak może wyglądać odczyt w dniu premiery indeksu. Rzeczywiste wyniki pojawią się jesienią 2026.
Wskaźniki pomocnicze
Dodatkowe zestawy danych publikowane codziennie
- Ranking per przedmiot: 12 osobnych rankingów dla matematyki, polskiego, angielskiego, fizyki, biologii itd.
- Ranking per poziom: osobne rankingi dla matury podstawowej, rozszerzonej, ósmoklasisty, zawodówek.
- Śledzenie trendów: wykresy czasowe dla każdego modelu przez ostatnie 7/30/90/365 dni.
- Porównania wersji, gdy wychodzi nowa wersja modelu, osobny raport: „o ile poprawił się Claude Sonnet między wersją 4 a 5”.
- Mapa błędów: w jakich kategoriach pytań modele mylą się najczęściej.
- Przykłady dnia: trzy ciekawe pytania z dnia, z odpowiedziami wszystkich modeli, gdzie łatwo zobaczyć różnice jakości.
Metodologia pomiaru
Indeks jest w pełni automatyczny. Codziennie o 3:00 w nocy polskiego czasu uruchamia się pipeline, który wykonuje pełny pomiar i aktualizuje publiczne dane najpóźniej o 9:00 rano. Dziennikarze zaczynający pracę mają gotowe świeże dane.
Losowanie próby dziennej
Z bazy pytań system losuje stratyfikowaną próbę dzienną, zwykle 200-400 pytań. Stratyfikacja zapewnia, że każdy przedmiot i każdy poziom egzaminu jest w próbie reprezentowany proporcjonalnie. Ten sam zestaw pytań zostanie zadany wszystkim modelom.
Wysyłka do modeli przez API
Każde pytanie jest zadawane każdemu modelowi przez oficjalne API z identycznym promptem systemowym („Odpowiedz na to pytanie egzaminacyjne. Jeśli wymagane, podaj tok rozumowania. Odpowiadaj po polsku.”). Temperatura ustawiona na 0 dla powtarzalności. Każde pytanie zadawane jest trzykrotnie, żeby uśrednić losowość.
Zapisanie surowych odpowiedzi
Wszystkie odpowiedzi są archiwizowane w oryginalnej formie (tekstowej). Nic nie jest edytowane ani streszczane. Pełne logi są dostępne do wglądu każdemu badaczowi, który o to poprosi (publikujemy je kwartalnie zbiorczo, z rozsądnymi ograniczeniami wielkości pliku).
Ocena odpowiedzi
Każda odpowiedź jest oceniana według protokołu dopasowanego do typu pytania. Szczegóły w następnym rozdziale. Wyniki są zapisywane w bazie z timestampem, ID pytania, ID modelu i pełną ścieżką audytu.
Agregacja i aktualizacja indeksów
Wyniki są agregowane do wszystkich publikowanych wskaźników (IPAE Score, rankingi per przedmiot itd.). Obliczane są też zmiany dzień-do-dnia, 7-dniowe i 30-dniowe.
Publikacja
Dane trafiają na publiczną stronę, aktualizują się wykresy i liczby, wysyłany jest codzienny podsumowujący mail do subskrybentów (opcjonalny) oraz alert do mediów, jeśli któryś wskaźnik zmienił się o więcej niż 5% w ciągu dnia.
Jak oceniamy odpowiedzi
Ocenianie odpowiedzi AI jest kluczowym elementem wiarygodności indeksu i zostało zaprojektowane tak, żeby minimalizować subiektywność i maksymalizować weryfikowalność.
Pytania zamknięte i obliczeniowe
Ocena w pełni automatyczna. System parsuje odpowiedź modelu, wyodrębnia finalną odpowiedź (liczba, litera ABCD, słowo kluczowe) i porównuje z kluczem odpowiedzi. Dla zadań matematycznych stosujemy tolerancję numeryczną (np. 0,01 dla obliczeń, pełną zgodność dla wyników całkowitych). Niezgodność formy (model odpowiedział słownie zamiast liczbowo) jest oznaczona, ale zwykle zaliczana, jeśli sens jest jednoznaczny.
Pytania otwarte: metoda LLM-as-judge
Dla pytań otwartych (wypracowania, rozprawki, interpretacje) stosujemy metodę LLM-as-judge, będącą obecnie standardem w globalnych benchmarkach AI. Polega ona na tym, że odpowiedzi testowanych modeli są oceniane przez inny, niezależny model, któremu dajemy:
- Treść pytania egzaminacyjnego.
- Oryginalny klucz CKE z kryteriami oceny i listą punktowaną.
- Odpowiedź testowanego modelu (nie wiedząc, który to model: ewaluacja blind).
- Polecenie: „Oceń odpowiedź ściśle według klucza CKE. Wskaż każdy punkt klucza, który odpowiedź spełnia, i każdy, który pomija lub traktuje błędnie. Na końcu podaj liczbę punktów.”
Ewaluatorem jest zawsze model różny od testowanego, nigdy model nie ocenia sam siebie. Rotujemy też ewaluatora (np. GPT ocenia Claude’a, Claude ocenia GPT, Gemini ocenia obu).
Dlaczego LLM-as-judge jest rzetelne. Metaanalizy globalne (m.in. Zheng et al. 2023, „Judging LLM-as-a-Judge”) pokazują, że korelacja ocen najlepszych modeli ewaluacyjnych z oceną ekspertów ludzkich przekracza 85% dla zadań tekstowych. To poziom zbliżony do korelacji między dwoma ludzkimi egzaminatorami CKE.
Dodatkowo, ta sama odpowiedź jest oceniana przez dwa różne modele-ewaluatory. Jeśli oceny się rozjeżdżają o więcej niż 20%, pytanie trafia do ręcznej weryfikacji eksperckiej.
Weryfikacja ekspercka
Raz w miesiącu losujemy próbę ~200 ocenionych odpowiedzi i przekazujemy ją niezależnemu egzaminatorowi (byłemu lub obecnemu egzaminatorowi CKE). Porównujemy ocenę ekspercką z oceną automatyczną i publikujemy wskaźnik zgodności ocen jako osobną miarę wiarygodności indeksu. Docelowa zgodność: powyżej 85%.
Ryzyko kontaminacji danych treningowych
Najpoważniejszy zarzut metodologiczny, który możemy usłyszeć, brzmi: „A skąd wiecie, że modele AI nie widziały już tych pytań w swoich danych treningowych? Jeśli widziały, to nie odpowiadają, tylko odtwarzają.”
To słuszny zarzut i traktujemy go bardzo poważnie. Stosujemy pięć równoległych zabezpieczeń:
| Zabezpieczenie | Jak działa |
|---|---|
| Pytania „po cut-off” | Minimum 40% bazy pochodzi z egzaminów organizowanych po cut-off danych treningowych większości modeli (czyli po 2024). Te pytania na pewno nie są w korpusie. |
| Parafrazy | Klasyczne zadania są parafrazowane: zmieniane są liczby, imiona w zadaniach tekstowych, daty w zadaniach historycznych, konteksty. Struktura wyzwania poznawczego jest zachowana, ale tekst jest unikatowy. |
| Pytania autorskie egzamin.pl | Wykorzystujemy własną bazę pytań autorskich, które nigdy nie były publikowane w internecie w otwartym dostępie. To są pytania napisane przez naszych autorów i dostępne tylko w zamkniętych kursach. |
| Test podatności (canary test) | Raz w miesiącu tworzymy nowe pytania i testujemy je osobno. Jeśli model odpowiada na nie z istotnie niższą skutecznością niż na pytania publikowane w internecie: mamy miarę, o ile kontaminacja windowała mu wynik. |
| Publikacja podzbiorów | Publikujemy wyniki osobno dla każdego zestawu: „publiczne archiwalne”, „publiczne świeże”, „parafrazowane”, „autorskie niepubliczne”. Dziennikarz / naukowiec może sam ocenić, które wyniki uważa za najbardziej wiarygodne. |
Docelowo baza pytań „niekontaminowanych” (świeże + parafrazowane + autorskie) stanowić będzie ponad 60% całości. Ten wskaźnik publikujemy na stronie jako osobną metrykę przejrzystości.
Zasady, które nas wiążą
Indeks ma wartość tylko wtedy, gdy można mu ufać. Dlatego z góry zobowiązujemy się do sześciu rzeczy:
- Jawna metodologia. Pełna specyfikacja techniczna, jak zadajemy pytania, jakie parametry API, jak oceniamy, jest publicznie dostępna i aktualizowana przy każdej zmianie.
- Otwarte dane. Archiwum wyników publikujemy kwartalnie jako CSV na licencji Creative Commons BY 4.0. Każdy może je przeliczyć, zakwestionować, wykorzystać w pracy naukowej.
- Żadnych ukrytych faworytów. Jeśli model któregokolwiek producenta wypada źle: publikujemy wynik tak samo jak wynik dobry. Indeks nie jest narzędziem marketingu żadnego producenta AI, włącznie z tym, którego modele wykorzystuje portal egzamin.pl.
- Rozróżnienie Pryzmat vs egzamin.pl. Pryzmat jest projektem portalu egzamin.pl, ale działa na zasadach redakcyjnej niezależności. Żadne wyniki nie są modyfikowane pod kątem biznesowych potrzeb portalu.
- Szybkie sprostowania. Jeśli wykryjemy błąd (w kluczu odpowiedzi, w parsowaniu, w API): publikujemy sprostowanie otwarcie, z datą i opisem. Nie poprawiamy po cichu.
- Konsultacje merytoryczne. Metodologia jest opiniowana przez niezależnego specjalistę z zakresu sztucznej inteligencji oraz egzaminatora z doświadczeniem w CKE. Ich nazwiska widnieją na stronie indeksu po podpisaniu umów o współpracy.
Harmonogram prac
Indeks tej skali wymaga czasu na zaprojektowanie, zbudowanie infrastruktury, skalibrowanie ocen i uzyskanie pierwszych wiarygodnych trendów. Pokazujemy, gdzie jesteśmy i co jeszcze przed nami.
Projektowanie metodologii i bazy pytań
Budowa bazy pytań, konstrukcja protokołu oceny, rozmowy z ekspertami metodologicznymi, konsultacja prawna dotycząca korzystania z API modeli AI.
Development infrastruktury
Budowa pipeline’u: integracja z API sześciu modeli, warstwa oceny (LLM-as-judge + automatyczne parsery), baza danych, harmonogram zadań, monitoring.
Kalibracja ocen
Miesięczny okres kalibracji: porównanie ocen LLM-as-judge z ocenami eksperckimi, tuning protokołów oceny, aż osiągniemy zgodność powyżej 85%.
Faza „cicha”: zbieranie danych
Przez 60 dni indeks działa pełną parą, ale wyniki nie są publikowane publicznie. Gromadzimy bazę pomiarów, weryfikujemy stabilność, łapiemy błędy.
Frontend i wizualizacja
Publiczna strona z wykresami, tabelami, porównywarką modeli, eksportem danych do CSV. Udostępnienie materiałów prasowych.
Premiera publiczna
Pierwsze publiczne publikowanie codziennych odczytów. Kampania w mediach edukacyjnych i technologicznych. Indeks staje się cytowalnym źródłem.
Pierwszy pełny raport roczny
Po 12 miesiącach od premiery: publikacja rocznego raportu z pełną analizą trendów, ewolucji modeli, i prognozami. Pierwsza tak obszerna analiza AI-edukacyjnego w Polsce.
Dla mediów i partnerów
Dziennikarze
Dziennikarze piszący o sztucznej inteligencji, edukacji lub technologii mogą otrzymywać codzienne lub tygodniowe podsumowania wyników indeksu jeszcze przed aktualizacją publicznej strony. Gotowe wykresy, liczby porównawcze, możliwość rozmowy z analitykiem: bezpłatnie i bez zobowiązań. Wystarczy napisać na adres pryzmat@egzamin.pl.
Instytucje akademickie
Zapraszamy do współpracy uczelnie i instytuty badawcze zajmujące się sztuczną inteligencją oraz metodologią ewaluacji modeli AI. Udostępniamy surowe dane do badań naukowych nieodpłatnie na licencji CC BY 4.0. Współpracujemy przy projektach naukowych: wspólne publikacje, prace magisterskie, doktoraty.
Producenci modeli AI
Indeks jest niezależny, ale otwarty na dialog. Zapraszamy producentów modeli AI (zarówno polskich, jak i zagranicznych) do zgłaszania uwag metodologicznych oraz informowania o premierach nowych wersji: uwzględnimy je w indeksie tak szybko, jak to możliwe. Publicznie reagujemy też na wszelkie merytoryczne zastrzeżenia dotyczące metodologii.
Nauczyciele i egzaminatorzy
Szukamy doświadczonych egzaminatorów CKE i nauczycieli akademickich do współpracy przy miesięcznej weryfikacji ocen eksperckich. Praca wymaga 8-12 godzin miesięcznie, jest płatna. Zainteresowani proszeni są o kontakt mailowy.
Ślad cyfrowy
Ten dokument jest publikowany pod adresem egzamin.pl/pryzmat/indeks-ai jako otwarta specyfikacja pracy nad indeksem. Pozostaje w wersji roboczej do dnia premiery (jesień 2026), aktualizowany w miarę postępów. Data ostatniej aktualizacji dokumentu: wiosna 2026.