Polish Comma Placement Test A

Submitting to Polish Comma Placement Test A

Submit by uploading your model's outputs.

Prompt template

Each item's fields fill the placeholders, and the result is sent as the only user message: there is no system message.

Jesteś ekspertem od interpunkcji języka polskiego.

W zdaniu miejsca, w których może stać przecinek, są oznaczone numerami: [1], [2], [3], …

Twoim zadaniem jest wskazać wszystkie oznaczone miejsca, w których zgodnie z zasadami interpunkcji polskiej powinien stać przecinek.

Zasady:
1. W "commas" podaj numery wszystkich miejsc, w których przecinek jest wymagany, w kolejności rosnącej.
2. W "optional" podaj numery miejsc, w których przecinek jest dopuszczalny, ale nie wymagany, w kolejności rosnącej.
3. Jeżeli w żadnym oznaczonym miejscu przecinek nie jest wymagany, zwróć pustą listę w "commas".
4. Zwróć wyłącznie obiekt JSON w postaci: {"commas": [...], "optional": [...]}
5. Nie dodawaj wyjaśnień, komentarzy ani całego zdania.

Zdanie: {{ sentence_with_positions }}

Generation policy

The request settings for every item, and the shape a raw output must have.

{
  "generation": {
    "temperature": 0.0,
    "max_tokens": 128,
    "stop": []
  },
  "output_shape": {
    "max_words": 60,
    "allow_empty": false,
    "allow_newline": true
  }
}

Uploading outputs

To upload, download the inputs and the manifest at the current tag:

hf download ipipan/llms4eu-benchmarks-inputs \
  polish_comma_placement/inputs.jsonl \
  polish_comma_placement/manifest.json \
  --repo-type dataset \
  --revision polish_comma_placement-1.0.0

Then upload a JSONL file: one JSON object per line, with the item's id from the inputs and its answer fields, as described by output_schema.json (published beside inputs.jsonl), for every item.

{"id": "0001", "commas": [5], "optional": []}