CfP: CUTE – CRETA Unshared Task zu Entitätenreferenzen

0 Veröffentlicht von Nils Reiter am

Wir laden dazu ein, Beiträge zu einem shared/unshared Task Workshop einzureichen, der im Rahmen der DHd 2017 in Bern (CH) stattfindet.

Link zur Webseite

Im Gegensatz zu shared tasks, bei denen die Performanz verschiedener Systeme/Ansätze/Methoden direkt anhand einer klar definierten und quantitativ evaluierten Aufgabe verglichen wird, sind unshared tasks offen für verschiedenartige Beiträge, die auf einer gemeinsamen Datensammlung basieren. Shared und Unshared Tasks in den Digital Humanities sind ein vielversprechender Weg, Kollaboration und Interaktion zwischen Geistes-, Sozial- und ComputerwissenschaftlerInnen zu fördern und zu pflegen.

Konkret rufen wir dazu auf, gemeinsam an einem heterogenen Korpus zu arbeiten, in dem Entitätenreferenzen annotiert wurden (siehe unten). Das Korpus besteht aus:

  • Jeweils einer Rede aus insgesamt vier Parlamentsdebatten des Deutschen Bundestags (S. Leutheuser-Schnarrenberger am 28.10.99, A. Merkel am 16.12.04, A. Ulrich am 15.11.07 und A. Karl am 17.03.11)
  • Briefen aus Goethes Die Leiden des jungen Werther (Ausgabe von 1787) vom 4. Mai bis einschließlich 16. Juni
  • Dem Abschnitt Zur Theorie des Kunstwerks aus Adornos Ästhetischer Theorie
  • Den Bücher 3 bis 6 von Wolframs von Eschenbach Parzival (mittelhochdeutsch)

Auch wenn jede Textsorte ihre eigenen Besonderheiten hat, wurden alle nach einheitlichen Annotationsrichtlinien annotiert, die wir ebenfalls veröffentlichen und zur Diskussion stellen möchten.

Wir laden ein, Beiträge zu folgenden Aufgaben einzureichen:

  1. Automatische Erkennung von Entitätenreferenzen: Experimente zum automatischen Erkennen von Annotationen auf noch nicht annotierten Texten, mit regelbasierten und/oder statistischen Systemen

  2. Visualisierung von Entitätenreferenzen im Text: Visualisierungsmöglichkeiten zur (interaktiven) Exploration der vorhandenen oder neuer Annotationen

  3. Annotationsanalyse: Qualitative oder quantitative Analyse der vorhandenen Annotationen oder der Annotationsrichtlinien; Annotationsexperimente zur Anwendbarkeit der Richtlinien auf neue Texte

  4. Freestyle: Kreative Ideen, die sich nicht direkt einem der obigen Tasks zuordnen lassen

Beiträge zu Aufgabe 1 werden quantitativ evaluiert und im Wettbewerb mit den Evaluationsergebnissen der anderen Beiträge verglichen (Shared Task). Beiträge für die Aufgaben 2 bis 4 werden vom Organisationskomitee qualitativ evaluiert (Unshared Task). Technische Details zu den Datenformaten und zur Evaluation sind auf der Webseite abrufbar.

Wichtige Termine

Task 1

Kommentar schreiben