Polish Coreference Test A

Submitting to Polish Coreference Test A

Submit by uploading your model's outputs.

Prompt template

Each item's fields fill the placeholders, and the result is sent as the only user message: there is no system message.

Jesteś ekspertem od analizy tekstu w języku polskim.

W tekście jedna wzmianka jest oznaczona jako docelowa: [T]...[/T]. Cztery wcześniejsze wzmianki są oznaczone jako kandydatki: [A]...[/A], [B]...[/B], [C]...[/C], [D]...[/D].

Twoim zadaniem jest wskazać kandydatkę, która odnosi się do tego samego obiektu lub osoby co wzmianka docelowa.

Zasady:
1. Wzmianka docelowa może być zaimkiem albo frazą rzeczownikową.
2. Weź pod uwagę rodzaj, liczbę, przypadek oraz sens całego tekstu.
3. Zwróć wyłącznie jedną literę: A, B, C lub D.
4. Nie dodawaj wyjaśnień ani komentarzy.

Tekst: {{ context }}

Kandydatki:{% for label, text in candidates | dictsort %}
{{ label }}. {{ text }}{% endfor %}

Generation policy

The request settings for every item, and the shape a raw output must have.

{
  "generation": {
    "temperature": 0.0,
    "max_tokens": 32,
    "stop": [
      "\n"
    ]
  },
  "output_shape": {
    "max_words": 1,
    "allow_empty": false,
    "allow_newline": false
  }
}

Uploading outputs

To upload, download the inputs and the manifest at the current tag:

hf download ipipan/llms4eu-benchmarks-inputs \
  polish_coreference/inputs.jsonl \
  polish_coreference/manifest.json \
  --repo-type dataset \
  --revision polish_coreference-1.0.0

Then upload a JSONL file: one JSON object per line, with the item's id from the inputs and its answer fields, as described by output_schema.json (published beside inputs.jsonl), for every item.

{"id": "0001", "answer": "A"}