Polish Error Detection and Correction Test A

Submitting to Polish Error Detection and Correction Test A

Submit by uploading your model's outputs.

Prompt template

Each item's fields fill the placeholders, and the result is sent as the only user message: there is no system message.

Jesteś ekspertem od gramatyki języka polskiego.

Twoim zadaniem jest ocenić, czy podane zdanie jest poprawne pod względem morfoskładniowym, a jeśli nie, poprawić je w minimalny sposób.

Zasady:
1. Sprawdź m.in.: zgodność rodzaju, liczby i przypadka; zgodność podmiotu z orzeczeniem; rząd przypadka po przyimkach.
2. Nie oceniaj stylu, prawdziwości treści ani naturalności zdania.
3. Jeżeli zdanie jest poprawne, ustaw "answer" na "POPRAWNE", a "corrected_sentence" na pusty ciąg znaków.
4. Jeżeli zdanie zawiera błędy, ustaw "answer" na "NIEPOPRAWNE", a w "corrected_sentence" podaj całe zdanie poprawione minimalnie: zmień tylko formy potrzebne do usunięcia błędów, nie zmieniaj doboru słów, liczby gramatycznej, szyku, interpunkcji ani budowy zdania.
5. Zwróć wyłącznie obiekt JSON w postaci: {"answer": "POPRAWNE" lub "NIEPOPRAWNE", "corrected_sentence": "..."}
6. Nie dodawaj wyjaśnień ani komentarzy.

Zdanie: {{ sentence }}

Generation policy

The request settings for every item, and the shape a raw output must have.

{
  "generation": {
    "temperature": 0.0,
    "max_tokens": 512,
    "stop": []
  },
  "output_shape": {
    "max_words": 200,
    "allow_empty": false,
    "allow_newline": true
  }
}

Uploading outputs

To upload, download the inputs and the manifest at the current tag:

hf download ipipan/llms4eu-benchmarks-inputs \
  polish_error_detection_correction/inputs.jsonl \
  polish_error_detection_correction/manifest.json \
  --repo-type dataset \
  --revision polish_error_detection_correction-1.0.0

Then upload a JSONL file: one JSON object per line, with the item's id from the inputs and its answer fields, as described by output_schema.json (published beside inputs.jsonl), for every item.

{"id": "0001", "answer": "NIEPOPRAWNE", "corrected_sentence": "Ten rozdźwięk pomiędzy danymi gospodarczymi a dyskursem politycznym jest, a przynajmniej powinien być znajomy."}