Polish Same Sense in Context Test A

Submitting to Polish Same Sense in Context Test A

Submit by uploading your model's outputs.

Prompt template

Each item's fields fill the placeholders, and the result is sent as the only user message: there is no system message.

Jesteś ekspertem od semantyki języka polskiego.

W zdaniu wzorcowym wyraz docelowy jest oznaczony jako [[TARGET]]...[[/TARGET]]. Każde z czterech zdań kandydujących, oznaczonych literami A–D, zawiera ten sam wyraz, oznaczony w ten sam sposób.

Twoim zadaniem jest wskazać zdanie kandydujące, w którym wyraz docelowy ma dokładnie to samo znaczenie co w zdaniu wzorcowym. Dokładnie jedno zdanie spełnia ten warunek.

Zasady:
1. Porównuj znaczenie wyrazu w kontekście, a nie jego formę gramatyczną.
2. Zwróć wyłącznie jedną literę: A, B, C lub D.
3. Nie dodawaj wyjaśnień ani komentarzy.

Zdanie wzorcowe: {{ reference_sentence }}

Zdania kandydujące:{% for label, text in candidates | dictsort %}
{{ label }}. {{ text }}{% endfor %}

Generation policy

The request settings for every item, and the shape a raw output must have.

{
  "generation": {
    "temperature": 0.0,
    "max_tokens": 32,
    "stop": [
      "\n"
    ]
  },
  "output_shape": {
    "max_words": 1,
    "allow_empty": false,
    "allow_newline": false
  }
}

Uploading outputs

To upload, download the inputs and the manifest at the current tag:

hf download ipipan/llms4eu-benchmarks-inputs \
  polish_same_sense_in_context/inputs.jsonl \
  polish_same_sense_in_context/manifest.json \
  --repo-type dataset \
  --revision polish_same_sense_in_context-1.0.0

Then upload a JSONL file: one JSON object per line, with the item's id from the inputs and its answer fields, as described by output_schema.json (published beside inputs.jsonl), for every item.

{"id": "0001", "answer": "A"}