Polish Numeral Inflection Test A

Submitting to Polish Numeral Inflection Test A

Submit by uploading your model's outputs.

Prompt template

Each item's fields fill the placeholders, and the result is sent as the only user message: there is no system message.

Jesteś ekspertem od gramatyki języka polskiego.

W zdaniu jedna liczba zapisana cyframi jest oznaczona jako [[...]]. Twoim zadaniem jest zapisać tę liczbę słownie w formie gramatycznie poprawnej w tym zdaniu.

Zasady:
1. Uwzględnij przypadek, rodzaj, żywotność i konstrukcję składniową, w której występuje liczba.
2. Nie zmieniaj formy pozostałych wyrazów w zdaniu.
3. Zapisz liczbę wyłącznie słowami, małymi literami.
4. Zwróć wyłącznie słowną formę oznaczonej liczby, bez całego zdania, nazwy przypadka ani wyjaśnień.

Zdanie: {{ sentence }}

Generation policy

The request settings for every item, and the shape a raw output must have.

{
  "generation": {
    "temperature": 0.0,
    "max_tokens": 64,
    "stop": [
      "\n"
    ]
  },
  "output_shape": {
    "max_words": 12,
    "allow_empty": false,
    "allow_newline": false
  }
}

Uploading outputs

To upload, download the inputs and the manifest at the current tag:

hf download ipipan/llms4eu-benchmarks-inputs \
  polish_numeral_inflection/inputs.jsonl \
  polish_numeral_inflection/manifest.json \
  --repo-type dataset \
  --revision polish_numeral_inflection-1.0.0

Then upload a JSONL file: one JSON object per line, with the item's id from the inputs and its answer fields, as described by output_schema.json (published beside inputs.jsonl), for every item.

{"id": "0001", "answer": "stu dwudziestu"}