Polish Discourse Parsing Test A
About
Subtask 5: Polish Universal Discourse Parsing
Introduction and motivation
Discourse comprehension requires identifying relationships among statements, not just interpreting individual sentences. Elaboration, cause and contrast can connect discourse units across sentence boundaries, organizing a text into a coherent hierarchy.
The task evaluates reconstruction of hierarchical, labeled discourse structures in Polish according to the formalism proposed by the Universal Discourse project.
Subtask description
Each input is a topic passage segmented into discourse units (DUs), which together cover the passage without overlap. The model selects a parent (head) and a relation label for every DU except the root. The root has no parent or relation; all dependencies must form one directed rooted tree.
A head may appear before or after its dependent. A DU may contain non-contiguous parts, whose order values indicate where they occur in the original text.
The 21 possible relation labels are: Alternative, Attribution, Cause, Co-occurence, Comment, Concession, Condition, Contrast, Elaboration, Entity-elaboration, Exemplification, Feedback dependence, Formatting, Manner, Metatext, Purpose, Question-Answer, Repetition, Sequence-Elaboration, Similarity and Substitution.
Dataset
The test-A dataset contains 63 topic passages from 49 Polish documents.
Input format
Each JSON item contains id, document_id, passage_id and discourse_units. Each DU provides du_id, orig_id, sent_id and ordered text parts:
{
"id": "be592975-95e8-4eea-a1be-37c409d1b26b",
"document_id": "PCC-short-18", "passage_id": "PCC-short-18:topic-02",
"discourse_units": [
{"du_id":"14.1", "orig_id":"PCC-short-18_p-5_0", "sent_id":"14",
"parts":[{"order":0,"text":"Pomorze"}]},
{"du_id":"15.1", "orig_id":"PCC-short-18_p-6_0", "sent_id":"15",
"parts":[{"order":1,"text":"W ciągu 5 lat PAA przyjęła jedno zgłoszenie poparzenia środkiem radioaktywnym."}]}
]
}
Model answer
Return a JSON object with a discourse_units array. Supply du_id, head and relation for each DU; use null for the root's head and relation. For the example above:
{
"discourse_units": [
{"du_id": "14.1", "head": null, "relation": null},
{"du_id": "15.1", "head": "14.1", "relation": "Metatext"}
]
}
Evaluation
The primary metric, Labeled Attachment Score (LAS), requires both the parent and relation to match gold for each non-root DU. Unlabeled Attachment Score (UAS) measures parent accuracy alone; root accuracy and tree validity may be reported separately.
Every DU must appear once in a connected, acyclic tree with one root. Invalid heads, cross-passage links and labels outside the inventory are errors.
Submission format
Submit one JSON object per line, holding id (the input item's id) followed by the answer fields: discourse_units. For the input example above, the line is:
{"id": "be592975-95e8-4eea-a1be-37c409d1b26b", "discourse_units": [{"du_id": "14.1", "head": null, "relation": null}, {"du_id": "15.1", "head": "14.1", "relation": "Metatext"}]}
The schema of these lines is output_schema.json, which is published beside inputs.jsonl. On the endpoint route the platform builds these lines from the model's answers, adding the id. A participant uploading a file must produce the same lines.
Campaigns
Inputs
hf download ipipan/llms4eu-benchmarks-inputs \ polish_discourse_parsing/inputs.jsonl \ polish_discourse_parsing/manifest.json \ --repo-type dataset \ --revision polish_discourse_parsing-1.0.0
Definition
An example item
{
"id": "d2677864-b4f8-4713-b9c0-bfeea2987ce4",
"document_id": "PCC-short-18",
"passage_id": "PCC-short-18:topic-01",
"discourse_units": [
{
"du_id": "1.1",
"orig_id": "PCC-short-18_p-1_0",
"sent_id": "1",
"parts": [
{
"order": 0,
"text": "–"
},
{
"order": 2,
"text": "– mówi Maciej Skarżewski, starszy specjalista w Departamencie Bezpieczeństwa Jądrowego i Radiacyjnego Państwowej Agencji Atomistyki, inspektor ochrony radiologicznej."
}
]
},
{
"du_id": "1.2",
"orig_id": "PCC-short-18_p-1_0",
"sent_id": "1",
"parts": [
{
"order": 1,
"text": "W Polsce rocznie wykonuje się kilkaset badań nieniszczących tak zwanej radiografii przemysłowej, polegających na prześwietleniu metalowych konstrukcji za pomocą przenikliwego promieniowania w celu wytworzenia na kliszy fotograficznej obrazu wewnętrznej struktury badanego elementu"
}
]
},
{
"du_id": "2.1",
"orig_id": "PCC-short-18_p-2_0",
"sent_id": "2",
"parts": [
{
"order": 3,
"text": "Badania takie często wykonuje się w trudnych, terenowych warunkach."
}
]
},
{
"du_id": "3.1",
"orig_id": "PCC-short-18_p-2_1",
"sent_id": "3",
"parts": [
{
"order": 4,
"text": "Stosowane są źródła promieniotwórcze, bezpieczne,"
}
]
},
{
"du_id": "3.2",
"orig_id": "PCC-short-18_p-2_1",
"sent_id": "3",
"parts": [
{
"order": 5,
"text": "bo zamknięte w specjalnym pojemniku."
}
]
},
{
"du_id": "4.1",
"orig_id": "PCC-short-18_p-2_2",
"sent_id": "4",
"parts": [
{
"order": 6,
"text": "W momencie wykonywania badania źródło promieniowania jest zdalnie wyprowadzane z pojemnika za pomocą specjalnego mechanizmu."
}
]
},
{
"du_id": "5.1",
"orig_id": "PCC-short-18_p-3_0",
"sent_id": "5",
"parts": [
{
"order": 7,
"text": "–"
},
{
"order": 9,
"text": "– dodaje Skarżewski."
}
]
},
{
"du_id": "5.2",
"orig_id": "PCC-short-18_p-3_0",
"sent_id": "5",
"parts": [
{
"order": 8,
"text": "Całe urządzenie, zwane popularnie defektoskopem, przechodzi regularne kontrole techniczne"
}
]
},
{
"du_id": "6.1",
"orig_id": "PCC-short-18_p-3_1",
"sent_id": "6",
"parts": [
{
"order": 10,
"text": "– Na kilkaset wykonywanych badań w ciągu roku zdarzają się rzadkie przypadki,"
}
]
},
{
"du_id": "6.2",
"orig_id": "PCC-short-18_p-3_1",
"sent_id": "6",
"parts": [
{
"order": 11,
"text": "gdy mechanizm zawodzi"
}
]
},
{
"du_id": "6.3",
"orig_id": "PCC-short-18_p-3_1",
"sent_id": "6",
"parts": [
{
"order": 12,
"text": "i źródło nie daje się wprowadzić z powrotem do pojemnika."
}
]
},
{
"du_id": "7.1",
"orig_id": "PCC-short-18_p-3_2",
"sent_id": "7",
"parts": [
{
"order": 13,
"text": "Wtedy należy poprosić o pomoc specjalne służby awaryjne,"
}
]
},
{
"du_id": "7.2",
"orig_id": "PCC-short-18_p-3_2",
"sent_id": "7",
"parts": [
{
"order": 14,
"text": "które bez narażania ludzi na większe niż dopuszczalne dawki promieniowania usuną awarię urządzenia."
}
]
},
{
"du_id": "8.1",
"orig_id": "PCC-short-18_p-3_3",
"sent_id": "8",
"parts": [
{
"order": 15,
"text": "Raz na kilka lat zdarza się,"
}
]
},
{
"du_id": "8.2",
"orig_id": "PCC-short-18_p-3_3",
"sent_id": "8",
"parts": [
{
"order": 16,
"text": "że technicy narażają się na nadmierne napromieniowanie,"
}
]
},
{
"du_id": "8.3",
"orig_id": "PCC-short-18_p-3_3",
"sent_id": "8",
"parts": [
{
"order": 17,
"text": "próbując samodzielnie usunąć awarie defektoskopu."
}
]
},
{
"du_id": "9.1",
"orig_id": "PCC-short-18_p-4_0",
"sent_id": "9",
"parts": [
{
"order": 18,
"text": "Ze statystyk wynika,"
}
]
},
{
"du_id": "9.2",
"orig_id": "PCC-short-18_p-4_0",
"sent_id": "9",
"parts": [
{
"order": 19,
"text": "że do tego typu wypadków dochodzi średnio raz na pięć lat."
}
]
},
{
"du_id": "10.1",
"orig_id": "PCC-short-18_p-4_1",
"sent_id": "10",
"parts": [
{
"order": 20,
"text": "W minionym dziesięcioleciu były dwa takie przypadki."
}
]
},
{
"du_id": "11.1",
"orig_id": "PCC-short-18_p-4_2",
"sent_id": "11",
"parts": [
{
"order": 21,
"text": "Pierwszy nastąpił w lutym 2001 roku."
}
]
},
{
"du_id": "12.1",
"orig_id": "PCC-short-18_p-4_3",
"sent_id": "12",
"parts": [
{
"order": 22,
"text": "Wówczas, w Białymstoku, podczas zabiegu naświetlania zostało poparzonych pięć kobiet."
}
]
},
{
"du_id": "13.1",
"orig_id": "PCC-short-18_p-4_4",
"sent_id": "13",
"parts": [
{
"order": 23,
"text": "Drugi wypadek był w lipcu 2009 roku, właśnie w Gdańsku,"
}
]
},
{
"du_id": "13.2",
"orig_id": "PCC-short-18_p-4_4",
"sent_id": "13",
"parts": [
{
"order": 24,
"text": "gdzie napromieniowanych zostało dwóch mężczyzn."
}
]
}
]
}
Prompt template
Each item's fields fill the placeholders, and the result is sent as the only user message: there is no system message.
Jesteś ekspertem od analizy dyskursu w języku polskim.
Fragment tekstu jest podzielony na jednostki dyskursu, które razem, bez nakładania się, pokrywają cały fragment. Każda jednostka ma identyfikator w nawiasach kwadratowych, np. [1.1]. Jednostka może składać się z kilku nieciągłych części. Liczba w nawiasach okrągłych przed częścią, np. (0), to pozycja tej części w oryginalnym tekście.
Twoim zadaniem jest odtworzyć hierarchiczną strukturę dyskursu fragmentu: dla każdej jednostki z wyjątkiem korzenia wskaż jednostkę nadrzędną ("head") oraz relację dyskursową ("relation"), która łączy jednostkę z jej jednostką nadrzędną.
Dopuszczalne relacje: Alternative, Attribution, Cause, Co-occurence, Comment, Concession, Condition, Contrast, Elaboration, Entity-elaboration, Exemplification, Feedback dependence, Formatting, Manner, Metatext, Purpose, Question-Answer, Repetition, Sequence-Elaboration, Similarity, Substitution.
Zasady:
1. Dokładnie jedna jednostka jest korzeniem: jej "head" i "relation" to null.
2. Każda pozostała jednostka ma w "head" identyfikator innej jednostki tego fragmentu, a w "relation" jedną z dopuszczalnych relacji, zapisaną dokładnie tak jak powyżej.
3. Jednostka nadrzędna może stać w tekście przed jednostką zależną albo po niej.
4. Wszystkie zależności tworzą jedno drzewo: nie ma cykli, a od każdej jednostki, przechodząc po jednostkach nadrzędnych, dochodzi się do korzenia.
5. Każdą jednostkę fragmentu podaj dokładnie raz.
6. Zwróć wyłącznie obiekt JSON w postaci, np.: {"discourse_units": [{"du_id": "1.1", "head": null, "relation": null}, {"du_id": "1.2", "head": "1.1", "relation": "Attribution"}]}
Wartości "du_id" i "head" są napisami w cudzysłowie, przepisanymi dokładnie tak, jak w nawiasach kwadratowych, np. "13.10", a nie 13.1.
7. Nie dodawaj wyjaśnień, komentarzy ani tekstu jednostek.
Jednostki dyskursu:
{% for unit in discourse_units -%}
[{{ unit.du_id }}] {% for part in unit.parts -%}
({{ part.order }}) {{ part.text }}{{ " " if not loop.last }}
{%- endfor %}
{% endfor %}
Generation policy
The request settings for every item, and the shape a raw output must have.
{
"generation": {
"temperature": 0.0,
"max_tokens": 4096,
"stop": []
},
"output_shape": {
"max_words": 3000,
"allow_empty": false,
"allow_newline": true
}
}
Example output
A submission line for an item like this: the id and the answer fields described by output_schema.json (published beside inputs.jsonl). The answer key is private.
{"id": "d2677864-b4f8-4713-b9c0-bfeea2987ce4", "discourse_units": [{"du_id": "14.1", "head": null, "relation": null}, {"du_id": "15.1", "head": "14.1", "relation": "Metatext"}]}