In großen Projekten tauchen oft viele unterschiedliche Begriffe auf – je nach Region, Fachbereich oder Institution. Um inhaltlich gut zusammenarbeiten zu können, braucht es hier Klarheit. Im Projekt SimLern haben wir dafür einen strukturierten Prozess entwickelt, der klassische Methoden mit Künstlicher Intelligenz verbindet.
CardSorting als Ausgangspunkt
Im Projekt kam ein offenes CardSorting-Verfahren zum Einsatz, bei dem Teilnehmende Begriffe frei nach ihrer eigenen Logik gruppieren konnten. So wurden individuelle Wahrnehmungen und Muster der Begriffszusammenhänge sichtbar gemacht. Ergänzend wurden Pre- und Post-Studienfragen eingesetzt, um weitere qualitative und quantitative Erkenntnisse zu gewinnen.
Dieses Verfahren half, die Bedeutung und Zusammenhänge der Begriffe besser zu verstehen und auf dieser Basis gemeinsame Strukturen für die Harmonisierung zu entwickeln.
KI als Hilfsmittel – mit Chancen und Grenzen
Die größte Herausforderung lag in der hohen Anzahl an Begriffen, die sich aus den unterschiedlichen Quellen und Kontexten ergaben. Eine manuelle Analyse aller möglichen Kombinationen und Clusterungen wäre extrem zeit- und ressourcenintensiv gewesen. Um diese Komplexität zu bewältigen, wurde der Analyseprozess durch KI-Modelle unterstützt.
Zum Einsatz kamen sowohl lokal gehostete Modelle (ein kleineres 4GB-Modell und ein leistungsfähigeres 70GB-Modell) als auch Online-Modelle, die über externe Dienste zugänglich waren. Während die lokalen Modelle eine gewisse Kontrolle über Datenhaltung und Wiederholbarkeit ermöglichten, boten die Online-Modelle den Vorteil aktuellster Sprachverarbeitung – allerdings mit eigenen Limitationen.
Besonders deutlich wurde:
- Begrenzte Transparenz: Die Entscheidungsfindung der KI bleibt oft intransparent und schwer nachvollziehbar – gerade bei sensiblen oder mehrdeutigen Begriffen ist das problematisch.
- Skalierungsprobleme: Bei sehr großen Mengen an Begriffen stoßen auch leistungsfähige Modelle an Grenzen – nicht alle Begriffspaare können zuverlässig miteinander in Beziehung gesetzt werden.
- Modellabhängigkeit und Intransparenz bei Online-Modellen: Bei Online-KI ist nicht immer klar, welches Modell im Hintergrund arbeitet – und welches Update gerade ausgerollt wurde. Die Modellzuweisung kann sich tagesabhängig ändern, was dazu führt, dass identische Anfragen zu unterschiedlichen Zeiten abweichende Ergebnisse liefern. Reproduzierbarkeit ist damit nicht immer gegeben.
Trotz dieser Herausforderungen zeigt der Einsatz von KI großes Potenzial: Sie ermöglicht eine Vorstrukturierung großer Datenmengen, die manuell kaum zu bewältigen wären. Gleichzeitig ist klar: Die Technologie ist noch nicht ausgereift genug, um menschliche Kontrolle und Deutung vollständig zu ersetzen. Die Kombination aus automatisierter und manueller Auswertung bleibt daher zentral für valide und nachvollziehbare Ergebnisse.
Ergebnis: ein hybrider, dokumentierter Workflow
Auf Basis der Tests wurde ein wiederverwendbarer Workflow entwickelt:
- Vorstrukturierung von Begriffen durch KI
- Validierung und Diskussion der Cluster in reduziertem CardSorting
- Visualisierung durch Dendrogramme, Distanzmatrizen und Tabellen
Dieser Ansatz reduziert den Aufwand erheblich: Statt zehn CardSortings genügen etwa drei, um qualitativ belastbare Ergebnisse zu erzielen. Gleichzeitig bleibt der menschliche Beitrag zentral – insbesondere bei der Deutung von Begriffsinhalten und der finalen Harmonisierung. Die KI unterstützt, ersetzt aber weder die Kontrolle noch die Urteilsfähigkeit der Beteiligten.
Wissensaufbau und Weitergabe
Neben der Entwicklung des Workflows stand der Kompetenzaufbau im Team und bei externen Partner*innen im Fokus. Dazu gehörten:
- Workshops zur Einführung in die Methode und das Tool
- Dokumentation der eingesetzten Software und Abläufe
- Einführung in KI-gestützte Analysemethoden für qualitative Daten
Das Verfahren ist skalierbar, gut dokumentiert und lässt sich auf ähnliche Projekte übertragen. Es verbessert nicht nur die Qualität der Analyse im aktuellen Projekt, sondern legt auch die Basis für zukünftige datenbasierte Auswertungen – vorausgesetzt, es bleibt immer genug Raum für menschliche Reflexion und Kontrolle.
Beitragsbilder von Freepik