Ergebnisse der Aufbereitung und Auswertung der Stellungnahmen zur Anhörung
Zielsetzung und Vorgehen
Das PRAGMA-Institut hatte zur Aufgabe, eine Auswertung der kirchenrechtlich vorgeschriebenen Anhörung im Auftrag des Bistums Trier vorzunehmen.
Die Auswertung erfolgte dabei sowohl quantitativ von Algorithmen gestützt als auch qualitativ als Einordnung und Einbeziehung des Kontextes durch Verstehen von Argumentationsmustern.
-
Ergebnis I: Einordnung der Stellungnahmen in einer quantitativen Dimension und Erstellung eines Gesamtscores
-
Ergebnis II: Aufbereitung der wichtigsten (d.h. häufigsten) Argumentations- und Kritikmuster
Hier stellen wir Ihnen die unkommentierten Ergebnisse des PRAGMA-Instituts zur Verfügung. Die Interpretationen und Schlussfolgerungen der Bistumsleitung erfolgen nach der Beratung mit den diözesanen Räten, die am 17. August 2019 stattgefunden hat. Informationen dazu finden Sie jeweils aktuell auf dieser Seite.
Präsentation der Auswertung durch das PRAGMA-Institut
Die Folien der Präsentation zum Durchklicken
Die Präsentation startet mit einem Klick auf das erste Bild.
Inhaltsübersicht
- Methodisches Vorgehen: Kurze Wiederholung
- Rücklauf
- Quantitative Ergebnisse
- Relevante Themen und Beispiele (qualitative Dimension)
-
Methodisches Vorgehen
-
Die qualitative und quantitative Dimension sind in einem "iterativen Prozess" miteinander verschränkt. Dadurch kann eine relativ große Textmenge sowohl quantitativ als auch qualitativ in relativ kurzer Zeit tiefgehend analysiert werden.
-
Durch die gegenseitige Verschränkung findet eine ständige (menschliche) Kontrolle statt; gleichzeitig wird der Algorithmus fortlaufend optimiert.
-
Das Vorgehen macht es für spätere Nutzer einfach, die Auswertung nachzuvollziehen und weitere Auswertungen im Detail vorzunehmen.
-
-
Rücklauf
![Rücklaufquote nach Gruppen: Pfarrgemeinde- und Pfarreienräte, Verwaltungsräte, Kirchengemeinderäte, Leitende Pfarrer, Pfarrverwalter und Priesterteams in solidum sowie Dekanatsebene]( "Endergebnis BistumTrier Anhorung Seite 10")
![]( "Endergebnis BistumTrier Anhorung Seite 11")
![Anzahl der ausgewerteten Formulare nach Formulartyp und nach Gruppen]( "Endergebnis BistumTrier Anhorung Seite 12")
-
Übersicht: Analyse des Umfangs der Stellungnahmen
![Deskriptive Statistik: Minimum 11 Wörter, Maximum 7971 Wörter - Mittel: 737 Wörter - Median: 425 Wörter, Standardabweichung: 849 Wörter]( "Endergebnis BistumTrier Anhorung Seite 14")
Gesamtübersicht als Boxplot: d.h. grafische Umsetzung der Verteilung der Anzahl der verwendeten Wörter in den Stellungnahmen aus Formular I (6 Kritierien)
Der Boxplot beinhaltet:
- Median: 50 Prozent der Stellungnahmen haben die entsprechende Anzahl an Wörtern oder weniger, 50 haben mehr.
- Quartile: 25- und 75-Prozentquartil – blaue Box zeigt die Masse der Stellungnahmen (50 Prozent der Stellungnahmen befinden sich in diesem Rahmen)
- Ausreißer: werden einzeln angezeigt (Minimum und Maximum)
-
Quantitative Ergebnisse
![]( "Endergebnis BistumTrier Anhorung Seite 17")
![]( "Endergebnis BistumTrier Anhorung Seite 18")
![]( "Endergebnis BistumTrier Anhorung Seite 19")
![]( "Endergebnis BistumTrier Anhorung Seite 20")
![]( "Endergebnis BistumTrier Anhorung Seite 21")
![]( "Endergebnis BistumTrier Anhorung Seite 22")
Generelle Bewertung, Verteilung von kritischen und zustimmenden Rückmeldungen
Score: Differenz aus negativen und positiven Bewertungen
- Positive Bewertungen: alle Treffer in den Stellungnahmen, die nach dem Text-Korpus eine positive, zustimmende Konnotation besitzen
- Negative Bewertungen: alle Treffer in den Stellungnahmen, die nach dem Text-Korpus eine negative, ablehnende Konnotation besitzen
- Aus beiden Bewertungen wird ein Summenindex gebildet
- Dann werden die positiven von den negativen Bewertungen subtrahiert
- Das Text-Korpus bestimmt dabei die Werte, die der Score annehmen kann
- Scores können jetzt auf Formular-Ebene und auf Statement-Ebene berechnet werden
Endergebnis: quantitative Ergebnisse
- Trends und Indikatoren aus den Zwischenergebnissen haben sich nachhaltig bestätigt: z.B. Anzahl der Wörter und Wahrscheinlichkeit von negativ konnotierten Bewertungen
- Quantitative Auswertung spricht für eine größtenteils differenzierte Bewertung mit einem leichten Überhang an negativer Bewertung (gemessen am Score)
- Mehr als vier Fünftel der Stellungnahmen von Pfarrern, Pfarrverwaltern, Pfarrgemeinderäte etc. enthalten negativ konnotierte Bewertungen
- In dieser Gruppe lässt sich die massive Ablehnung mit knapp 20 Prozent quantifizieren
-
Relevante Themen und Beispiele: Territorialer Zuschnitt
![Territorialer Zuschnitt: Beispiele mit schlechter Bewertung: Übersichtskarte]( "Endergebnis BistumTrier Anhorung Seite 27")
![Territorialer Zuschnitt: Wunsch nach konkreten Änderungen: Übersichtskarte]( "Endergebnis BistumTrier Anhorung Seite 28")
![Territorialer Zuschnitt: Argumentationsstrukturen]( "Endergebnis BistumTrier Anhorung Seite 29")
Ausgangspunkt
- Quantitative Ergebnisse bilden Ausgangspunkte für qualitative Analyse
- Qualitative Analyse erfolgt zusätzlich auf Basis von Schlagworten in Verbindung mit den Bewertungskategorien
- Iterativer Prozess kommt zum Abschluss: Überführung der Scores, der Begriffe und Schlagworte in Datenbank
Zusammenfassung der quantitativen Ergebnisse (ca. 65 Prozent aller Muster):
- Größte Unzufriedenheit an Rändern der Pfarrei der Zukunft
- Größere Unzufriedenheit im Norden des Bistums
- Erhöhte Unzufriedenheit in Diaspora-Gebieten
- Saarland als Hot Spot der Unzufriedenheit, konkrete Wünsche z.B. in Koblenz
Grundmuster der wichtigsten Argumentationen:
- Keine Seelsorge mehr möglich
- Lange Wege in Verbindung mit fehlender Infrastruktur
- Verlust an Identität/Heimat – Zentralisierungsbedenken
- Konkrete Argumente für oder gegen vorgeschlagenen Pfarrort
-
Relevante Themen und Beispiele: Organe und Gremien / Arbeitsweisen
![]( "Endergebnis BistumTrier Anhorung Seite 31")
![]( "Endergebnis BistumTrier Anhorung Seite 32")
![]( "Endergebnis BistumTrier Anhorung Seite 33")
![]( "Endergebnis BistumTrier Anhorung Seite 34")
![]( "Endergebnis BistumTrier Anhorung Seite 35")
![]( "Endergebnis BistumTrier Anhorung Seite 36")
![]( "Endergebnis BistumTrier Anhorung Seite 37")
![]( "Endergebnis BistumTrier Anhorung Seite 38")
Um die einzelnen Grafiken anzusehen, klicken Sie bitte auf das Startbild!
Wichtige Themen und Kritikpunkte
- Unklarheit und Kritik im Bezug auf die Verwaltungsteams
- Kritik zum Rat der Pfarreien
- Unklarheit und Kritik zu den Leitungsteams
- Problematik Synodalversammlung
- Problematik Einkammersystem
Problematik Synodalversammlung
Grundmuster der wichtigsten Argumentationen (ca. 88 Prozent aller Muster)
- Defizite in der Repräsentation
- Ineffiziente Größe
- Kritik an der Tagungsfrequenz
Kritik am Rat der Pfarreien - Einkammersystem
Zusammenfassung der quantitativen Ergebnisse:
- 49 Prozent lehnen des Einkammersystems aufgrund der Stellungnahme des Katholikenrats (!) ab
- 43 Prozent präferieren ausdrücklich (!) ein Zweikammersystem
Grundmuster der wichtigsten Argumentationen (ca. 83 Prozent aller Muster):
- Überforderung mit Aufgabenfülle
- Nachteile für und Überforderung von Ehrenamtlichen
- Machtzentralisierung – Klerikalismus
- Falsche Inhaltliche Schwerpunkte befürchtet
Kritik am Rat der Pfarreien - Allgemein
Grundmuster der wichtigsten Argumentationen (ca. 76 Prozent aller Muster)
- Unklare Zusammenarbeit (z.B. zwischen Leitungsteams und Rat der Pfarreien)
- Rekrutierungsproblem bei Ehrenamtlichen
- Zweifel an Kontrollmechanismen – Interessenskonflikte
- Repräsentationsdefizit
Unklarheit und Kritik an Leitungsteams
Grundmuster der wichtigsten Argumentationen (ca. 67 Prozent aller Muster):
- Überforderung der Ehrenamtlichen
- Distanz zwischen Pfarrei der Zukunft und Leitungsteam
Unklarheit und Kritik an den Verwaltungsteams
Grundmuster der wichtigsten Argumentationen (ca. 68 Prozent aller Muster):
- Kompetenzen sind unklar: Finanziell, Vernetzung, Arbeit, Ort
- Rekrutierungsprobleme (Ehrenamtliche)
- Verhältnis vonVerwaltungsteam und Leitungsteam
-
Relevante Themen und Beispiele: Vermögensübergang und Organe
![Problematik Vermögensübergang und Organe]( "Endergebnis BistumTrier Anhorung Seite 40")
![Problematik Übergangsregelungen]( "Endergebnis BistumTrier Anhorung Seite 41")
Problematik Vermögensübergang und Organe
Zusammenfassung der quantitativen Ergebnisse (ca. 79 Prozent aller Muster):
- 47 Prozent der Stellungnahmen über das Fabrikvermögen lassen sich den Formulierungen der Initiative zuordnen
- 21 (Vermögensübergang) bzw. 25 Prozent (Organe) der Stellungnahmen deuten auf größere Unklarheiten hin Grundmuster der wichtigsten Argumentationen:
- Ablehnung wegen Kontrollverlust bzw. Intransparenz
- Unklarheit über zur Verfügung stehende Geldmittel vor Ort – Zweckbindung
- Arbeitsteilung der Gremien
Problematik Übergangsregelungen
Zusammenfassung der quantitativen Ergebnisse (ca. 57 Prozent aller Muster):
- 33 Prozent der Stellungnahmen deuten auf tiefgreifende Unklarheit hin
- Häufig keine Bewertung möglich
Grundmuster der wichtigsten Argumentationen:
- Zeitdruck und Zeitplan
- Wünsche und Vorschläge
-
Sonstige relevante Punkte: Orte von Kirche, Ehrenamt
![Wichtige Themen und Kritikpunkte: Orte von Kirche und Unklarheit Vernetzung der Gemien generell]( "Endergebnis BistumTrier Anhorung Seite 43")
![Sonstige Themen: Orte von Kirche]( "Endergebnis BistumTrier Anhorung Seite 44")
![Schlüsselkonzept: Orte von Kirche nach Statements (Formular III)]( "Endergebnis BistumTrier Anhorung Seite 45")
![Sonstige Themen: Ehrenamt]( "Endergebnis BistumTrier Anhorung Seite 46")
Orte von Kirche
Grundmuster der wichtigsten Argumentationen:
- Unklare Definition (35 Prozent Nachfragen) bezüglich Orte von Kirche
- Frage nach Vernetzung
- Ordnung und Repräsentation
- Zwischen Chance und Furcht
Ehrenamt
Grundmuster der wichtigsten Argumentationen:
- Rollenfindung - Verunsicherung
- Zu wenig Verantwortung - zu große Last
- Identifikation - Motivation
Weiteres:
- Artikel drucken Artikel drucken
- Fehler melden Fehler melden
Präsentation der Ergebnisse
Hier können Sie die Präsentation der Ergebnisse als PDF downloaden.
Hintergründe und Kontakt
PRAGMA-Institut Reutlingen (mehr)
Häufige Fragen
Zur Methode und zu einzelnen Ergebnissen erreichen uns verschiedene Fragen, die Dr. Martin Messingschlager vom PRAGMA Institut Reutlingen, der die Auswertung durchgeführt hat, hier beantwortet.
-
In der Präsentation werden ausschließlich negative Rückmeldungen dokumentiert. Wie kommt es zu dem Ergebnis, dass es aber nur 37 Prozent tendenziell negative oder sehr negative Rückmeldungen gab?
Wir hatten für die Auswertungspräsentation einen Fokus auf negative, kritische oder rückfragende Stimmen als O-Töne. Wir sahen uns in der Auswertung verpflichtet, die schwierigen, umstrittenen und unklaren Punkte genau anzuschauen und gerade in der qualitativen Analyse in den Vordergrund zu stellen - die zustimmenden Bewertungen sind deshalb in dieser Fragestellung bewusst in den Hintergrund getreten. Die Auswertung erfüllt dabei so etwas wie die Funktion des ,advocatus diaboli'. Um dies aber in ein Verhältnis zu allen Stellungnahmen zu setzen, haben wir die quantitative Gesamteinschätzung (37 Prozent) vorausgeschickt.
-
Wie kann es sein, dass nur 37 Prozent eher negative oder sehr negative Stellungnahmen abgaben, aber bei den Argumentationsmustern Werte wie 88 Prozent erscheinen?
Hier handelt es sich um Kritikmuster und kritische Argumentationen - auch Argumentationen, die Unsicherheit ausdrücken: Die Prozentzahlen sind auf alle Äußerungen des Themas bezogen. Folie 31 (Link) zeigt zur quantitativen Einordnung, wie viele Stellungnahmen überhaupt sich mit den Themen (z.B. Synodalversammlung, Leitungsteam etc.) befasst haben. Damit erklärt sich der Rahmen der Gesamtbewertung: Es geht hier also immer um die Prozentzahlen innerhalb der Rückmeldungen, die sich mit dem Thema kritisch oder fragend befassen. Die Verdichtung führt dann zu einem vergleichsweise hohen Anteil der Zuordnung zu einem Muster. Es bedeutet aber gerade nicht, dass z.B. 88 Prozent aller Stellungnahmen dieses Kritikmuster angewendet haben, sondern nur 88 Prozent von denen, die überhaupt das Thema kritisch behandelt haben, zeigen dieses Muster.
-
Wenn sich bereits 46 Prozent weitgehend wörtlich der Vorlage der Initiative Kirchengemeinde bedient haben: Wie erklärt sich dann, dass sich nur 37 Prozent der Rückmeldebögen tendenziell negativ geäußert hätten?
Wir haben diese Angabe als "Maximalschätzung" bezeichnet, weil wir alles, was aus den Vorlagen der Initiative "Kirchengemeinde vor Ort" verwendet worden sein könnte (!) mitgezählt haben - bis zur Begriffsebene. Die allermeisten dieser Treffer beziehen sich auf einzelne Fragmente. Wir sehen auch den Einsatz einzelner Bausteine und Elemente und nicht die Übernahme der gesamten Vorlage als von den Gremien selbstbewusste Entscheidung, sich bei einzelnen Kritikpunkten an die Vorlage anzulehnen, aber durchaus auch Zustimmung bei anderen Punkten zu geben.
Darüber hinaus ist es gut möglich, dass diese Elemente/Begriffe zum Teil auch unbeachsichtig verwendet wurden, aber eben wortgleich oder -ähnlich sind. Das können wir aber so nicht im Einzelnen nachvollziehen.
-
Wie kommt es zu der Einschätzung, eine Stellungnahme sei "ausgewogen"?
Wir haben hier mittels Vier- bzw. Sechs-Augenprinzip die Begriffe bzw. Formulierungen nach "negativ" und "positiv" konnotiert. Als "ausgewogen" wurde eine Stellungnahme dann gewertet, wenn die Anzahl der negativen und positiven Konnotationen für den jeweiligen Score etwa ausgeglichen waren. Es kann natürlich auch sein, dass eine Stellungnahme zum Score-Wert "ausgewogen" kommt, wenn kaum etwas geschrieben wurde oder sich ganz oder in weiten Teilen der Stellungnahme enthalten wurde.
-
Wie kam der Score zustande?
Eine quantitative Herangehensweise bringt es zunächst mit sich, dass die Bewertungen gleichgewichtet sind, unabhängig davon, ob sie inhaltlich leichter oder schwerer wiegen. Zum Beispiel wiegt die Aussage "Wir sind gegen die Auflösung unserer Pfarrgemeinde" innhaltlich schwerer in der Ablehnung als "Wir halten ein Einkammersystem für nicht effizient". Deshalb ist es so wichtig, dass wir neben den quantitativen Auswertungen auch die qualitative Herangehensweise haben. Wir müssen hier auf zwei Beinen stehen, um valide Aussagen treffen zu können.
-
Wird es die Auswertung auch in Form einer Text-Dokumentation geben?
Es spricht nichts dagegen, hier einen Text zu verfassen, der die linguistische Grundlage der Auswertung und andere Aspekte anschaulich aufbereitet. Es war bei unserer Arbeit wichtig, dass wir sowohl die Kompetenzen eines Informatikers als auch eines Linguisten nutzen konnten.
Wir sind im Moment - d.h. nach der Verdichtung der Informationen als Auswertung - gerade dabei, alle Stellungnahmen in einer Datenbank zu archivieren, die mittels Verschlagwortung und grafischen Aufbereitungen dann für weitere Analysen jederzeit verwendet werden kann.
Maßnahmenkatalog
Eine Übersicht über die Maßnahmen aufgrund der Anhörung finden Sie auf den Seiten zur Anhörung.