Anwender-Dokumentation: UIS-FairGrade

KI-gestützte Korrektur von Studienarbeiten

1. Allgemeines

1.1 Systemvoraussetzungen

Browser-Anforderungen: - Moderne Browser werden unterstützt: - Google Chrome (Version 90+) - Mozilla Firefox (Version 88+) - Microsoft Edge (Version 90+) - Safari (Version 14+) - JavaScript muss aktiviert sein - Cookies müssen aktiviert sein (für Sitzungsverwaltung)

Internetverbindung: - Stabile Internetverbindung erforderlich - Empfohlene Mindestgeschwindigkeit: 5 Mbit/s - Upload-Bandbreite wichtig für das Hochladen von Studienarbeiten

Weitere Anforderungen: - Bildschirmauflösung: mindestens 1280x720 Pixel empfohlen - Pop-up-Blocker sollte für diese Anwendung deaktiviert sein

1.2 Anmeldung

Prozess zur Anmeldung:

Token-Generierung:
Einmal-Login-Tokens werden auf Anforderung mit der Ihrer EDU E-Mail Adresse versendet
Der Token ist ein eindeutiger, kryptographisch sicherer Schlüssel
Tokens werden nur für den ersten Login benötigt
Anmeldevorgang:
Öffnen Sie die in der E-Mail enthaltene Login-URL
Der Token wird automatisch aus der URL extrahiert
Bei erfolgreicher Authentifizierung werden Sie ins System eingeloggt
Eine neue Sitzung wird erstellt
Gültigkeitsdauer:
Tokens sind standardmäßig 4 Stunden gültig
Nach Ablauf muss ein neuer Token angefordert werden
Tokens können nur einmalig verwendet werden
Nach erfolgreicher Verwendung wird der Token ungültig
Sitzungsverwaltung:
Nach dem Login bleibt Ihre Sitzung aktiv
Die Sitzungsdauer wird durch Ihre Browser-Cookies verwaltet
Bei längerer Inaktivität werden Sie automatisch abgemeldet

1.3 Abmeldung

Verfahren zur Abmeldung:

Klicken Sie auf Ihren Benutzernamen in der oberen rechten Ecke
Wählen Sie "Abmelden" aus dem Dropdown-Menü
Sie werden zur Login-Seite weitergeleitet
Ihre Sitzung wird beendet und alle temporären Daten werden gelöscht

Empfehlung: - Melden Sie sich immer ab, wenn Sie einen öffentlichen Computer verwenden - Schließen Sie den Browser nach der Abmeldung für zusätzliche Sicherheit

1.4 Pilotphase

Status des Projekts:

UIS-FairGrade befindet sich derzeit in der Pilotphase als innovatives Forschungs- und Entwicklungsprojekt für KI-gestützte Korrektur von Studienarbeiten.

Was bedeutet das für Sie: - Das System wird kontinuierlich verbessert und optimiert - Neue Features werden regelmäßig hinzugefügt - Ihre Rückmeldungen sind wertvoll für die Weiterentwicklung

Bewertungsfunktion (Stars): - In der Matrix-Ansicht finden Sie eine 5-Sterne-Bewertungsfunktion - Bewerten Sie die Qualität der KI-Evaluierungen: - ⭐ = Sehr schlecht - ⭐⭐ = Schlecht - ⭐⭐⭐ = Befriedigend - ⭐⭐⭐⭐ = Gut - ⭐⭐⭐⭐⭐ = Sehr gut - Optional können Sie zusätzlichen Text-Kommentar hinzufügen - Ihre Bewertungen helfen uns, das System zu verbessern

Feedback: - Nutzen Sie die Bewertungsfunktion aktiv - Melden Sie Probleme oder Verbesserungsvorschläge an das Entwicklungsteam - Kontakt: idea@isartec.de

1.5 Kritische Bewertung

Wichtiger Hinweis:

Die KI-generierten Bewertungen sind als Unterstützungswerkzeug zu verstehen, nicht als finale Entscheidung.

Ihre Verantwortung: - ✓ Prüfen Sie alle KI-Bewertungen kritisch - ✓ Vergleichen Sie die Bewertungen verschiedener KI-Modelle - ✓ Nutzen Sie Ihr fachliches Urteilsvermögen - ✓ Korrigieren Sie offensichtliche Fehler oder Unstimmigkeiten - ✓ Die finale Bewertung liegt in Ihrer Verantwortung

Best Practices: - Lesen Sie die generierten Feedbacks aufmerksam - Achten Sie auf Konsistenz zwischen verschiedenen KI-Modellen - Nutzen Sie die Ensemble-Bewertungen als Referenz - Bei Zweifeln: Überprüfen Sie die Originalarbeit selbst

1.6 Bearbeitungszeit

Zeitaufwand für die Korrektur:

Die Bearbeitungszeit hängt vom Umfang der Studienarbeit ab:

Standardlaufzeiten: - Kurze Arbeiten (5-10 Seiten): 10-15 Minuten - Mittlere Arbeiten (10-20 Seiten): 15-20 Minuten - Längere Arbeiten (20-40 Seiten): 20-30 Minuten - Sehr umfangreiche Arbeiten (40+ Seiten): 30+ Minuten

Prozessschritte: 1. Datei-Upload und Validierung (< 1 Minute) 2. Textextraktion und Chunking (1-2 Minuten) 3. KI-Evaluierung durch mehrere Modelle (10-25 Minuten) 4. Ensemble-Berechnung (< 1 Minute) 5. Berichterstellung (< 1 Minute)

Einflussfaktoren: - Anzahl der Bewertungskriterien im Korrekturprofil - Anzahl der verwendeten KI-Modelle - Aktuelle Systemauslastung - API-Antwortzeiten der KI-Anbieter

Hinweis: Die Korrektur läuft im Hintergrund. Sie können andere Aufgaben erledigen und werden über den Status in der Matrix-Ansicht informiert.

1.7 Verwendete KI-Anbieter

Unterstützte KI-Modelle:

Das System nutzt drei führende KI-Anbieter für eine ausgewogene und robuste Bewertung:

1. OpenAI (GPT-Modelle): - Bekannt für: Präzise Sprachverarbeitung und detailliertes Feedback - Stärken: Analytisches Denken, strukturierte Bewertungen - Verwendung: Agent 1 oder nach Konfiguration

2. Google Gemini: - Bekannt für: Multimodale Analyse und umfassendes Verständnis - Stärken: Kontextverarbeitung, kreative Bewertungsansätze - Verwendung: Agent 2 oder nach Konfiguration

3. Anthropic Claude: - Bekannt für: Ausgewogene und faire Bewertungen - Stärken: Konsistenz, ethische Überlegungen - Verwendung: Agent 3 oder nach Konfiguration

Ensemble-Ansatz: - Jedes Kriterium wird von allen drei KI-Modellen unabhängig bewertet - Die finale Bewertung ist ein Durchschnitt aller Modelle (Ensemble) - Dies reduziert Bias und erhöht die Zuverlässigkeit

1.8 Bewertungsunterschiede zwischen KI-Modellen

Warum unterscheiden sich die Bewertungen?

Unterschiedliche KI-Modelle können zu unterschiedlichen Bewertungen derselben Arbeit kommen:

Typische Abweichungen: - Gering (±2-5%): Normale Variation bei klaren Kriterien - Moderat (±5-10%): Unterschiedliche Interpretationen von Qualität - Hoch (±10%+): Verschiedene Schwerpunkte oder Bewertungsmaßstäbe

Ursachen für Unterschiede: 1. Trainings daten: Jedes Modell wurde auf unterschiedlichen Datensätzen trainiert 2. Bewertungslogik: Verschiedene Algorithmen und Gewichtungen 3. Interpretationsspielraum: Subjektive Kriterien werden unterschiedlich ausgelegt 4. Sprachverständnis: Nuancen werden unterschiedlich erfasst

Wie gehen Sie damit um: - Betrachten Sie die Ensemble-Bewertung als Hauptreferenz - Große Abweichungen (>15%) sollten manuell überprüft werden - Nutzen Sie die Matrix-Ansicht, um Muster zu erkennen - Bewerten Sie auffällige Evaluierungen mit der Sternfunktion

Vorteile der Diversität: - Reduzierung von systematischen Fehlern - Ausgleich von Modell-spezifischen Bias - Robustere und fairere Gesamtbewertung

2. Prüfungen

2.1 Prüfungsübersicht

Zugang zur Prüfungsübersicht:

Nach dem Login gelangen Sie zur Startseite
Klicken Sie auf "Prüfungen" in der Navigationsleiste
Sie sehen eine Liste aller Prüfungen, für die Sie berechtigt sind

Angezeigte Informationen: - Prüfungsname: Bezeichnung der Prüfung - Prüfungsdatum: Datum der Durchführung - Semester: Zugeordnetes Semester - Niveau: Bachelor, Master, Doktorat oder Weiterbildung - Teilnehmer: Anzahl der eingeschriebenen Studierenden - Status: Übersicht über Korrekturstatus (Pending, Working, Done, Failed)

Aktionen: - Details: Klicken Sie auf eine Prüfung, um zur Detailansicht zu gelangen - Suche/Filter: Nutzen Sie die Suchfunktion, um Prüfungen schnell zu finden

2.2 Prüfungseinstellungen

Zugang zu den Einstellungen:

Öffnen Sie die Detailansicht einer Prüfung
Klicken Sie auf "Einstellungen" oder das Zahnrad-Symbol

Konfigurierbare Optionen:

a) Niveau: - Bachelor - Master - Doktorat - Weiterbildung - Bestimmt den Bewertungsmaßstab und die Erwartungen

b) KI-Erlaubnis: - Erlaubt: Studierende durften KI-Tools verwenden - Nicht erlaubt: KI-Nutzung war verboten - Unbekannt: Keine Regelung getroffen - Beeinflusst die Plagiatsprüfung und Bewertungskriterien Die Bewertung wird nicht erkennen ob KI bei der Erstellung der Arbeit beteiligt war! Es kann aber Hinweiese geben (Erwähnungen, Verweise, etc.) die die Nutzung von KI Tools vermuten lassen. Die Bewertung durch die Ki würde dies bestrafen, sofern es nicht explizit erlaubt war).

c) Aufgabenstellung: - Textfeld für die Aufgabenbeschreibung - Wird den KI-Modellen als Kontext übergeben - Sollte klar und präzise formuliert sein - Wichtig für kontextbasierte Bewertung

d) Korrekturprofil: - Auswahl des anzuwendenden Bewertungsschemas - Ein Profil besteht aus mehreren Kriterien mit Gewichtungen - Beispiel-Kriterien: - Fachliche Korrektheit (40%) - Struktur und Aufbau (20%) - Wissenschaftliches Arbeiten (20%) - Sprache und Stil (20%)

Korrekturprofil erstellen/bearbeiten: - Im Admin-Bereich unter "Korrekturprofile" - Definieren Sie Kriterien mit Namen und Gewichtung - Wählen Sie KI-Agenten für jedes Kriterium - Aktivieren/Deaktivieren Sie Profile bei Bedarf

2.3 Studienarbeit hochladen

Verfahren zum Hochladen:

Prüfung auswählen:
Navigieren Sie zur Prüfungsdetailansicht
Wählen Sie den Teilnehmer aus der Liste
Upload-Bereich:
Klicken Sie auf "Datei hochladen" oder "Upload"
Ein Datei-Dialog öffnet sich
Datei auswählen:
Wählen Sie die Studienarbeit aus
Unterstützte Formate: PDF, DOCX, TXT
Maximale Dateigröße: Abhängig von der Systemkonfiguration (typisch 50 MB)
Upload bestätigen:
Klicken Sie auf "Hochladen"
Fortschrittsbalken zeigt Upload-Status
Nach Abschluss erscheint eine Bestätigungsmeldung

Hinweise: - Pro Teilnehmer kann eine Datei hochgeladen werden - Beim erneuten Upload wird die alte Datei ersetzt - Die Datei wird automatisch validiert (Format, Lesbarkeit)

Fehlerbehandlung: - Bei Formatfehlern: Überprüfen Sie das Dateiformat - Bei Upload-Fehlern: Prüfen Sie Ihre Internetverbindung - Bei Validierungsfehlern: Stellen Sie sicher, dass die Datei nicht beschädigt ist

2.4 Verarbeitung der Studienarbeit

Interner Prozess (automatisch):

Nach dem Upload durchläuft die Studienarbeit mehrere Verarbeitungsschritte:

1. Textextraktion: - PDF/DOCX wird in reinen Text konvertiert - Formatierungen werden entfernt - Sonderzeichen werden normalisiert - Ergebnis: arbeit_raw.txt

2. Inhaltsextraktion: - Inhaltsverzeichnis (ToC): Wird identifiziert und extrahiert - Literaturverzeichnis: Wird am Ende erkannt und extrahiert - Beide werden separat gespeichert und aus dem Haupttext entfernt

3. Chunking (Aufteilung): - Der Haupttext wird in ~2000-Token-Chunks aufgeteilt - Chunks überlappen um 12,5% für Kontext-Kontinuität - Chunks enden und beginnen an Satzgrenzen (keine abgeschnittenen Sätze) - Jeder Chunk wird als separate Datei gespeichert: arbeit_chunk_000.txt, arbeit_chunk_001.txt, etc.

4. Keyword-Extraktion: - Für jeden Chunk werden die Top-10 Schlüsselwörter extrahiert - Verwendung von YAKE-Algorithmus oder TF-IDF - Ermöglicht semantische Suche während der Bewertung

5. Vektorisierung (Weaviate): - Alle Chunks werden in eine Vektor-Datenbank (Weaviate) eingefügt - Ermöglicht schnelles Retrieval relevanter Textpassagen - Isolation pro Student (keine Daten-Vermischung)

6. Markdown-Konvertierung: - Die gesamte Arbeit wird in Markdown-Format konvertiert - Erleichtert die Ansicht und KI-Verarbeitung - Verfügbar als Download

Statusanzeige: - Hochgeladen: Datei wurde erfolgreich hochgeladen - Verarbeitung läuft: Extraktion und Chunking in Arbeit - Bereit: Verarbeitung abgeschlossen, bereit für Korrektur - Fehler: Problem während der Verarbeitung

Hinweis: Dieser Prozess läuft im Hintergrund und dauert typischerweise 1-3 Minuten.

2.5 Studienarbeit löschen

Löschvorgang:

Zugriff:
Navigieren Sie zur Teilnehmeransicht
Klicken Sie auf "Löschen" oder das Papierkorb-Symbol
Bestätigung:
Ein Bestätigungsdialog erscheint
Warnung: Diese Aktion ist unwiderruflich!
Lesen Sie die Warnung sorgfältig
Was wird gelöscht:
Die hochgeladene Originaldatei
Alle extrahierten Textdateien (raw, chunks, ToC, refs)
Alle Weaviate-Einträge für diesen Studenten
NICHT gelöscht: Bereits abgeschlossene Bewertungen und Berichte
Ausführung:
Bestätigen Sie mit "Löschen"
Erfolgs- oder Fehlermeldung wird angezeigt

Wann sollten Sie löschen: - Falsche Datei wurde hochgeladen - Datenschutzgründe erfordern Löschung - Neustart mit aktualisierter Arbeit erforderlich

Hinweis: Wenn Sie nur die Bewertungen zurücksetzen möchten (ohne die Datei zu löschen), verwenden Sie die Zurücksetzen-Funktion (siehe Abschnitt 2.12).

2.6 Matrix-Ansicht

Zugang zur Matrix:

Öffnen Sie die Prüfungsdetailansicht
Klicken Sie auf einen Teilnehmer
Die Matrix-Ansicht wird automatisch geladen

Aufbau der Matrix:

Die Matrix ist eine tabellarische Darstellung aller Bewertungen:

Spalten: - Kriterium: Name des Bewertungskriteriums - Agent 1 (z.B. OpenAI): Bewertung durch den ersten KI-Agenten - Agent 2 (z.B. Gemini): Bewertung durch den zweiten KI-Agenten - Agent 3 (z.B. Claude): Bewertung durch den dritten KI-Agenten - Ensemble (Horizontal): Durchschnitt der drei Agenten für dieses Kriterium

Zeilen: - Eine Zeile pro Bewertungskriterium - Agent-Ensemble-Zeilen: Durchschnitt eines Agenten über alle Kriterien - Gesamt-Ensemble-Zeile: Gewichteter Durchschnitt aller Bewertungen

Zell-Inhalte: - Status-Badge: Farb-codiert (Grün=Success, Rot=Failed, Blau=Running, Grau=Pending) - Prozent-Wert: Erzielte Punkte in Prozent - Info-Button (ℹ️): Details und Feedback anzeigen - Stern-Button (⭐): Bewertung abgeben - Restart-Button (🔄): Fehlgeschlagene Tasks neu starten

Farbcodierung: - Grün (success): Bewertung erfolgreich abgeschlossen - Rot (failed): Bewertung fehlgeschlagen (Fehler anzeigen) - Blau (running/claimed): Bewertung läuft gerade - Grau (pending/queued): Bewertung wartet auf Ausführung

Interaktionen: - Hover: Zeigt Tooltips mit zusätzlichen Informationen - Klick auf Info: Öffnet Modal mit detailliertem Feedback - Klick auf Stern: Öffnet Bewertungs-Modal - Klick auf Restart: Startet fehlgeschlagene Task neu

Auto-Refresh: - Die Matrix aktualisiert sich automatisch während der Korrektur - Status-Updates erscheinen in Echtzeit - Keine manuelle Aktualisierung erforderlich

2.7 MD-Format (Markdown-Ansicht)

Zugriff auf Markdown-Ansicht:

In der Teilnehmeransicht
Klicken Sie auf "MD anzeigen" oder "Markdown"

Was wird angezeigt:

Die vollständige Studienarbeit im Markdown-Format
Überschriften werden als #, ##, ### dargestellt
Listen werden strukturiert angezeigt
Code-Blöcke (falls vorhanden) werden hervorgehoben
Tabellen werden im Markdown-Tabellenformat angezeigt

Vorteile der Markdown-Ansicht: - ✓ Leichter zu lesen als reiner Text - ✓ Struktur ist klar erkennbar - ✓ Ideal zum Kopieren in andere Tools - ✓ Kann als .md-Datei heruntergeladen werden

Download: - Klicken Sie auf "Download MD" - Die Datei wird als .md gespeichert - Öffnen Sie mit jedem Markdown-Editor oder Text-Editor

Verwendungszwecke: - Schnelle Vorschau der Arbeit - Vorbereitung für manuelle Korrektur - Export für externe Tools (z.B. Plagiatsprüfung)

2.8 KI-Korrektur starten

Prozess zum Start:

Voraussetzungen prüfen:
Studienarbeit wurde hochgeladen
Verarbeitung ist abgeschlossen (Status: "Bereit")
Korrekturprofil ist zugewiesen
Start:
Klicken Sie auf "Korrektur starten" in der Teilnehmeransicht
Das System erstellt automatisch einen Evaluation Job
Der Status wechselt zu "Working"
Hintergrundverarbeitung:
Der Evaluation Worker übernimmt die Aufgabe
Tasks werden der Reihe nach abgearbeitet:
1. Agent-Evaluierungen (alle KI-Modelle)
2. Kriterien-Ensembles (Durchschnitt pro Kriterium)
3. Agenten-Ensembles (Durchschnitt pro Agent)
4. Gesamt-Ensemble (gewichteter Durchschnitt)
Fortschrittsanzeige:
Matrix-Ansicht zeigt Live-Status aller Tasks
Fortschrittsbalken (z.B. "60% abgeschlossen")
Geschätzte verbleibende Zeit

Was passiert im Hintergrund: - Jedes Kriterium wird von allen konfigurierten KI-Agenten bewertet - Die Agenten erhalten Kontext (Aufgabenstellung, relevante Chunks) - Jeder Agent liefert eine Prozent-Bewertung und textliches Feedback - Bei Fehlern werden Tasks automatisch bis zu 3x wiederholt

Abschluss: - Bei Erfolg: Status wechselt zu "Done" - Bei Fehlern: Status wechselt zu "Failed" oder "Partial" - Sie erhalten eine Zusammenfassung aller Bewertungen

Hinweis: Die Korrektur kann nicht unterbrochen werden, ohne sie abzubrechen (siehe "Abbrechen"-Funktion).

2.9 Bewertungssystem

Wie funktioniert die Bewertung:

1. Einzelbewertung (Agent pro Kriterium): - Jeder KI-Agent bewertet jedes Kriterium unabhängig - Bewertung erfolgt auf einer Skala von 0% bis 100% - Jede Bewertung enthält: - Prozent-Wert: Erreichte Punktzahl - Feedback-Text: Begründung der Bewertung (mehrere Sätze)

2. Horizontales Ensemble (pro Kriterium): - Durchschnitt aller Agenten für ein Kriterium - Formel: (Agent1 + Agent2 + Agent3) / 3 - Reduziert Bias einzelner Modelle - Zeigt Konsistenz der Bewertungen

3. Vertikales Ensemble (pro Agent): - Durchschnitt eines Agenten über alle Kriterien - Zeigt Tendenz des jeweiligen Modells - Gewichtung der Kriterien wird berücksichtigt

4. Gesamt-Ensemble (Total): - Finale Gesamtbewertung - Gewichteter Durchschnitt aller Kriterien-Ensembles - Formel: Σ(Kriterium_Ensemble × Gewichtung) / Σ(Gewichtung) - Dies ist die finale empfohlene Note

Gewichtung: - Jedes Kriterium hat eine Gewichtung (z.B. 40%, 30%, 20%, 10%) - Gewichtungen müssen nicht 100% ergeben - Gewichtungen werden in der Gesamt-Ensemble-Berechnung berücksichtigt - Können als Dezimalzahlen definiert werden (z.B. 33.3%)

Bewertungsskala: - 90-100%: Sehr gut - 80-89%: Gut - 70-79%: Befriedigend - 60-69%: Ausreichend - < 60%: Nicht ausreichend

Hinweis: Diese Schwellenwerte sind Richtwerte. Die finale Notenvergabe liegt in Ihrer Verantwortung und sollte den Prüfungsordnungen Ihrer Institution entsprechen.

2.10 Berichte (Reports)

Verfügbare Berichte:

Das System generiert mehrere Arten von Berichten im Markdown-Format:

1. Agent-Ensemble-Bericht: - Zugriff: Klicken Sie auf "Bericht" in einer Agent-Ensemble-Zeile - Inhalt: - Prüfungsinformationen (Name, Datum, Profil) - Studierenden-Informationen (Name, Matrikelnummer, Studiengang) - Agent-Informationen (Name, Modell) - Detaillierte Kriterien-Bewertungen mit Gewichtungen - Einzelfeedback pro Kriterium - Gesamt-Ensemble-Ergebnis für diesen Agenten - Format: Markdown (.md) - Verwendung: Detailansicht der Bewertung eines einzelnen KI-Modells

2. Gesamt-Ensemble-Bericht: - Zugriff: Klicken Sie auf "Gesamtbericht" in der Gesamt-Ensemble-Zeile - Inhalt: - Vollständige Bewertungsmatrix (alle Agenten, alle Kriterien) - Statistiken (Anzahl erfolgreicher Bewertungen) - Detaillierte Ergebnisse pro Kriterium mit allen Agent-Bewertungen - Horizontale Ensemble-Ergebnisse pro Kriterium - Vertikale Ensemble-Ergebnisse pro Agent - Finale Gesamt-Ensemble-Bewertung mit Zusammenfassung - Format: Markdown (.md) - Länge: Optimiert für 1-2 A4-Seiten - Verwendung: Vollständiger Überblick über alle Bewertungen

Download und Weiterverarbeitung:

Download:
Klicken Sie auf den entsprechenden Bericht-Button
Datei wird als .md heruntergeladen
Dateiname enthält Prüfungs- und Studierenden-Information
In PDF konvertieren:
Option 1: Online-Tools (z.B. Dillinger, StackEdit)
Option 2: Markdown-Editoren (z.B. Typora, MarkText, VS Code mit Extension)
Option 3: Kommandozeilen-Tools (z.B. Pandoc) bash pandoc bericht.md -o bericht.pdf
Weiterverarbeitung:
In Word importieren (Copy & Paste oder Import)
In LMS/Lernplattform hochladen
Per E-Mail an Studierende versenden
Als Backup archivieren

Best Practices: - Generieren Sie Berichte nach Abschluss aller Bewertungen - Überprüfen Sie Berichte vor dem Versand an Studierende - Archivieren Sie Berichte für Dokumentationszwecke - Verwenden Sie professionelle Formatierungen bei PDF-Konvertierung

2.11 Korrektur neu starten

Wann verwenden:

Die "Korrektur neu starten"-Funktion ist nützlich in folgenden Situationen: - Die Korrektur wurde mit Status "Failed" abgeschlossen - Einige Tasks sind fehlgeschlagen und Sie möchten alle neu bewerten - Sie haben das Korrekturprofil geändert und möchten mit dem neuen Profil korrigieren - Die vorherige Korrektur enthält zu viele Fehler

Unterschied zu "Zurücksetzen": - Neu starten: Behält alle bisherigen Bewertungen, startet nur fehlgeschlagene Tasks neu - Zurücksetzen: Löscht ALLE Bewertungen und startet komplett neu (siehe 2.12)

Vorgehensweise:

Zugriff:
Navigieren Sie zur Teilnehmer-Matrix-Ansicht
Button "Korrektur neu starten" ist verfügbar, wenn Status "Failed" oder "Done"
Klick auf "Korrektur neu starten":
System prüft den aktuellen Status
Bereits erfolgreiche Bewertungen bleiben erhalten
Fehlgeschlagene oder fehlende Tasks werden auf "Queued" gesetzt
Hintergrundverarbeitung:
Der Evaluation Worker übernimmt die Tasks
Nur neue/fehlgeschlagene Bewertungen werden ausgeführt
Fortschritt wird in der Matrix angezeigt

Vorteile: - ✓ Zeitersparnis: Erfolgreiche Bewertungen werden nicht wiederholt - ✓ Ressourcenschonend: Nur notwendige API-Calls werden gemacht - ✓ Konsistenz: Bereits gute Bewertungen bleiben unverändert

Hinweis: Wenn Sie wirklich ALLE Bewertungen neu machen möchten, verwenden Sie stattdessen die "Zurücksetzen"-Funktion.

2.12 Zurücksetzen

Wann verwenden:

Die "Zurücksetzen"-Funktion ist für folgende Szenarien gedacht: - Sie möchten komplett neu anfangen (alle Bewertungen löschen) - Das Korrekturprofil wurde grundlegend geändert - Die Aufgabenstellung wurde aktualisiert - Sie möchten mit einer sauberen Basis starten

Wichtige Warnung: ⚠️ Diese Aktion ist NICHT rückgängig zu machen! - Alle Bewertungen werden gelöscht - Alle Tasks werden gelöscht - Alle Evaluation Jobs werden gelöscht - Die hochgeladene Datei bleibt ERHALTEN (wird NICHT gelöscht)

Vorgehensweise:

Zugriff:
Navigieren Sie zur Teilnehmer-Matrix-Ansicht
Button "Zurücksetzen" ist verfügbar, wenn bereits Bewertungen existieren
Klick auf "Zurücksetzen":
Ein roter Bestätigungsdialog erscheint
Lesen Sie die Warnung sorgfältig!
Der Dialog erklärt, was gelöscht wird
Bestätigung:
Klicken Sie auf "Zurücksetzen bestätigen"
Oder "Abbrechen", um den Vorgang abzubrechen
Ausführung:
Alle Bewertungsdaten werden gelöscht
Status wechselt zurück auf "Pending"
Erfolgs- oder Fehlermeldung wird angezeigt

Was passiert genau: - ✗ Alle Bewertung-Datensätze werden gelöscht - ✗ Alle Task-Datensätze werden gelöscht - ✗ Alle EvaluationJob-Datensätze werden gelöscht - ✓ Die hochgeladene Datei bleibt erhalten - ✓ Alle extrahierten Chunks und Metadaten bleiben erhalten - ✓ Der Teilnehmer-Datensatz bleibt erhalten

Nach dem Zurücksetzen: - Sie können die Korrektur neu starten mit "Korrektur starten" - Alle Bewertungen werden komplett neu durchgeführt - Der Teilnehmer startet mit Status "Pending"

Audit-Log: - Diese Aktion wird protokolliert - Datum, Uhrzeit und Benutzer werden gespeichert - Anzahl der gelöschten Datensätze wird festgehalten

2.13 Status-Legende

Übersicht aller Status:

Das System verwendet verschiedene Status-Indikatoren für Teilnehmer, Jobs und Tasks:

Teilnehmer-Status (job_status):

Status	Bedeutung	Farbe	Symbol
Pending	Warten auf Start der Korrektur	Grau	⏸️
Working	Korrektur läuft gerade	Blau	⚙️
Done	Korrektur erfolgreich abgeschlossen	Grün	✅
Failed	Korrektur fehlgeschlagen	Rot	❌

Job-Status (EvaluationJob):

Status	Bedeutung	Beschreibung
pending	Job erstellt, wartet auf Start	Job wurde angelegt, noch keine Tasks gestartet
working	Job wird bearbeitet	Mindestens ein Task läuft oder ist abgeschlossen
running	Job läuft aktiv	Synonym für "working"
partial	Teilweise erfolgreich	Job abgeschlossen, aber einige Tasks sind fehlgeschlagen
completed	Vollständig erfolgreich	Alle Tasks erfolgreich abgeschlossen
failed	Fehlgeschlagen	Job konnte nicht abgeschlossen werden
cancelled	Abgebrochen	Job wurde manuell abgebrochen

Task-Status:

Status	Bedeutung	Farbe	Aktion möglich
queued	Wartet auf Ausführung	Grau	Warten
claimed	Vom Worker beansprucht	Hellblau	Wird gleich gestartet
running	Wird gerade ausgeführt	Blau	In Bearbeitung
success	Erfolgreich abgeschlossen	Grün	Ergebnis ansehen, Bewerten
failed	Fehlgeschlagen	Rot	Neu starten, Fehler ansehen
skipped	Übersprungen	Gelb	-

Fortschrittsanzeige:

Die Matrix-Ansicht zeigt den Fortschritt in Prozent: - 0%: Noch nicht gestartet - 1-99%: In Bearbeitung (z.B. "67% - 4/6 Tasks abgeschlossen") - 100%: Vollständig abgeschlossen

Status-Übergänge:

Teilnehmer:
pending → working → done/failed
           ↓
        cancelled → pending (bei Abbruch)

Task:
queued → claimed → running → success/failed
                      ↓
                   skipped

Farben in der Matrix: - 🟢 Grün: Alles OK, erfolgreich - 🔴 Rot: Fehler, Aufmerksamkeit erforderlich - 🔵 Blau: In Arbeit, bitte warten - ⚪ Grau: Wartet auf Ausführung - 🟡 Gelb: Warnung oder übersprungen

Best Practices: - Überwachen Sie den Status regelmäßig während der Korrektur - Bei "Failed": Überprüfen Sie die Fehlermeldung - Bei "Partial": Starten Sie fehlgeschlagene Tasks einzeln neu - Bei "Cancelled": Starten Sie die Korrektur neu, wenn gewünscht

3. Evaluation Worker (Hintergrundprozess)

3.1 Was ist der Evaluation Worker?

Der Evaluation Worker ist ein Hintergrundprozess, der automatisch alle KI-Bewertungen durchführt. Er arbeitet unabhängig vom Webinterface und stellt sicher, dass alle Korrekturen zuverlässig und in der richtigen Reihenfolge abgearbeitet werden.

Für Anwender ist der Worker größtenteils unsichtbar, aber es ist hilfreich zu verstehen, wie er funktioniert:

3.2 Funktionsweise

1. Überwachung: - Der Worker läuft kontinuierlich im Hintergrund - Er prüft alle 5 Sekunden (Standard), ob es neue Arbeit gibt - Er sucht nach Teilnehmern mit Status "Working"

2. Job-Erstellung: - Sobald Sie "Korrektur starten" klicken, wird ein Evaluation Job erstellt - Der Job enthält alle notwendigen Tasks (Einzelaufgaben): - Agent-Evaluierungen (ein Task pro Agent pro Kriterium) - Ensemble-Berechnungen (Durchschnitte) - Gesamt-Bewertung

3. Task-Verarbeitung: - Tasks werden in der richtigen Reihenfolge abgearbeitet - Abhängigkeiten werden berücksichtigt (z.B. Ensemble benötigt alle Agent-Bewertungen) - Fehlgeschlagene Tasks werden automatisch bis zu 3x wiederholt

4. Status-Updates: - Fortschritt wird in Echtzeit in die Datenbank geschrieben - Die Matrix-Ansicht zeigt diese Updates sofort an

3.3 Ausführungsintervall

Standard-Konfiguration: - Poll-Intervall: 5 Sekunden - Max. parallele Jobs: 2 - Task-Timeout: 120 Sekunden - Stale-Timeout: 1800 Sekunden (30 Minuten)

Was bedeutet das: - Der Worker überprüft alle 5 Sekunden, ob es neue Arbeit gibt - Er kann maximal 2 Jobs gleichzeitig bearbeiten - Jeder Task darf maximal 120 Sekunden dauern - Tasks, die länger als 30 Minuten beansprucht sind, werden freigegeben

3.4 Fehlerbehandlung

Automatische Wiederholung: - Fehlgeschlagene Tasks werden automatisch wiederholt (bis zu 3x) - Bei temporären API-Fehlern wird nach kurzer Pause erneut versucht - Nach 3 Fehlversuchen wird der Task als "Failed" markiert

Stale-Task-Erkennung: - Tasks, die zu lange im Status "Claimed" bleiben, werden automatisch freigegeben - Verhindert Blockaden durch Worker-Abstürze - Betroffene Tasks können neu gestartet werden

3.5 Relevanz für Anwender

Warum ist das wichtig für Sie:

Zuverlässigkeit:
Der Worker läuft unabhängig von Ihrer Browser-Sitzung
Sie können den Browser schließen, die Korrektur läuft weiter
Bei Problemen werden Tasks automatisch wiederholt
Parallelität:
Sie können mehrere Korrekturen gleichzeitig starten
Der Worker verarbeitet sie parallel (begrenzt durch "max. parallele Jobs")
Kein manuelles Warten erforderlich
Transparenz:
Alle Schritte werden protokolliert
Status-Updates in Echtzeit
Sie sehen genau, was gerade passiert
Wartung:
Der Worker läuft typischerweise als System-Service
Wird automatisch neugestartet bei Problemen
Erfordert keine Anwender-Interaktion

Hinweis: Der Worker ist eine Hintergrund-Komponente. Als Anwender müssen Sie nicht direkt damit interagieren. Das System kümmert sich automatisch um alle Details.

4. Kontakt und Support

4.1 Rückfragen und Unterstützung

Bei Fragen, Problemen oder Verbesserungsvorschlägen wenden Sie sich bitte an:

ISARtec Entwicklung - E-Mail: idea@isartec.de - Betreff-Vorlage: [UIS-FairGrade] Ihre Anfrage

4.2 Was sollten Sie bei einer Support-Anfrage angeben?

Um Ihnen schnell helfen zu können, geben Sie bitte folgende Informationen an:

Ihre Kontaktdaten:
Name
E-Mail-Adresse
Institution/Hochschule
Beschreibung des Problems:
Was wollten Sie tun?
Was ist passiert?
Welche Fehlermeldung erschien (falls vorhanden)?
Kontext:
Prüfungs-ID oder Name (falls relevant)
Teilnehmer-ID oder Name (falls relevant)
Zeitpunkt des Auftretens
Screenshots:
Wenn möglich, fügen Sie Screenshots hinzu
Schwärzen Sie sensible Daten (Namen, Matrikelnummern)

4.3 Feedback zur Pilotphase

Ihr Feedback ist wertvoll! Teilen Sie uns mit: - Was funktioniert gut? - Was könnte verbessert werden? - Welche Features fehlen Ihnen? - Wie bewerten Sie die KI-Qualität?

Nutzen Sie dafür: - Die integrierte Bewertungsfunktion (Sterne + Kommentar) - Direkte E-Mail an idea@isartec.de - Regelmäßige Feedback-Umfragen (falls durchgeführt)

4.4 Häufig gestellte Fragen (FAQ)

F: Wie lange ist mein Login gültig? A: Der Login-Token ist 4 Stunden gültig. Ihre Sitzung nach dem Login bleibt aktiv, solange Sie den Browser geöffnet lassen.

F: Kann ich mehrere Korrekturen gleichzeitig starten? A: Ja, Sie können mehrere Teilnehmer parallel zur Korrektur starten. Der Worker verarbeitet sie automatisch.

F: Was passiert, wenn eine KI-Bewertung fehlschlägt? A: Der Task wird automatisch bis zu 3x wiederholt. Falls er dann immer noch fehlschlägt, wird er als "Failed" markiert und kann manuell neu gestartet werden.

F: Wie zuverlässig sind die KI-Bewertungen? A: Die Bewertungen sind Empfehlungen zur Unterstützung. Sie sollten immer kritisch geprüft werden. Die finale Bewertung liegt in Ihrer Verantwortung.

F: Kann ich die Gewichtung der Kriterien anpassen? A: Ja, Sie können im Admin-Bereich Korrekturprofile erstellen und bearbeiten, inklusive Gewichtungen (auch Dezimalzahlen wie 33.3%).

F: Werden meine Daten sicher gespeichert? A: Ja, alle Daten werden verschlüsselt übertragen und gespeichert. Zugriff haben nur autorisierte Benutzer. Die Studienarbeiten werden isoliert pro Student verwaltet. Die Agenten (KI) verarbeiten nur anonymisierte Daten.

F: Wie kann ich einen Bericht als PDF speichern? A: Öffnen Sie den Bewertungsbericht und klicken Sie unten auf den Button "Drucken" und Drucken Sie diesen mit dem PDF Drucker aus. Alternativ können Sie den Bericht auch als PDF exportieren (der Export ist aber noch nicht so schön).

F: Was ist der Unterschied zwischen "Neu starten" und "Zurücksetzen"? A: "Neu starten" behält erfolgreiche Bewertungen und wiederholt nur Fehlgeschlagene. "Zurücksetzen" löscht ALLE Bewertungen und startet komplett neu.

5. Anhang

5.1 Glossar

Begriffe und Definitionen:

Agent: Ein KI-Modell (OpenAI, Gemini oder Claude), das Bewertungen durchführt
Chunk: Ein Textabschnitt der Studienarbeit (~2000 Tokens)
Ensemble: Durchschnitt mehrerer Bewertungen zur Reduzierung von Bias
Evaluation Job: Ein Bewertungsauftrag für einen Teilnehmer
Korrekturprofil: Sammlung von Bewertungskriterien mit Gewichtungen
Kriterium: Ein Aspekt der Bewertung (z.B. "Fachliche Korrektheit")
Matrix: Tabellarische Darstellung aller Bewertungen
Markdown (MD): Ein leicht lesbares Textformat
RAG: Retrieval-Augmented Generation - Technik zum Abrufen relevanter Textpassagen
Task: Eine Einzelaufgabe innerhalb eines Jobs (z.B. Agent-Bewertung eines Kriteriums)
Token: Kleine Texteinheit zur Messung der Textlänge (~4 Zeichen im Deutschen)
Weaviate: Vektor-Datenbank für semantische Textsuche
Worker: Hintergrundprozess, der Bewertungen automatisch durchführt

5.2 Tastaturkürzel

(Diese Funktion ist derzeit nicht implementiert, kann aber in zukünftigen Versionen hinzugefügt werden)

5.3 Bekannte Einschränkungen

Aktuelle Limitierungen:

Dateiformate:
Nur PDF, DOCX und TXT werden unterstützt
Andere Formate (z.B. ODT, RTF) müssen konvertiert werden
Dateigröße:
Sehr große Dateien (>50 MB) können zu Problemen führen
Bei Problemen: Datei komprimieren oder in kleinere Teile aufteilen
Sprachen:
Optimiert für deutsche und englische Texte
Andere Sprachen können zu ungenauen Bewertungen führen
Bilder und Formeln:
Bilder werden derzeit nicht ausgewertet
Mathematische Formeln können falsch interpretiert werden
OCR (Texterkennung aus Bildern) ist nicht verfügbar
Parallelverarbeitung:
Maximal 2 Jobs können gleichzeitig bearbeitet werden (Standard)
Bei hoher Last kann es zu Wartezeiten kommen

5.4 Tipps für beste Ergebnisse

Best Practices:

Datei-Qualität:
Verwenden Sie PDF mit kopierbarem Text (kein Scan)
Stellen Sie sicher, dass die Datei nicht beschädigt ist
Entfernen Sie passwortgeschützte Bereiche
Aufgabenstellung:
Formulieren Sie die Aufgabenstellung klar und präzise
Geben Sie Kontext und Erwartungen an
Dies hilft den KI-Modellen, besser zu bewerten
Korrekturprofil:
Wählen Sie Kriterien, die klar messbar sind
Vermeiden Sie zu viele Kriterien (5-8 sind optimal)
Gewichtungen sollten sinnvoll sein und Prioritäten widerspiegeln
Bewertung:
Vergleichen Sie immer mehrere Agenten
Achten Sie auf große Abweichungen (>15%)
Nutzen Sie die Ensemble-Bewertungen als Orientierung
Lesen Sie das Feedback aufmerksam
Performance:
Starten Sie Korrekturen außerhalb der Spitzenzeiten
Vermeiden Sie zu viele gleichzeitige Uploads
Schließen Sie den Browser nicht während des Uploads

5.5 Changelog und Updates

Versionshinweise:

Diese Dokumentation wird regelmäßig aktualisiert. Änderungen werden hier dokumentiert.

Version 1.0 (2025-11): Initiale Version der Anwender-Dokumentation

(Weitere Updates werden hier ergänzt)

6. Rechtliche Hinweise

6.1 Datenschutz

Alle hochgeladenen Studienarbeiten werden vertraulich behandelt
Daten werden isoliert pro Student gespeichert
Zugriff nur für autorisierte Prüfer
Daten werden verschlüsselt übertragen (HTTPS)

6.2 Verantwortung

Die KI-Bewertungen sind Empfehlungen, keine finalen Entscheidungen
Die Verantwortung für die finale Bewertung liegt beim Prüfer
Prüfen Sie alle Bewertungen kritisch
Dokumentieren Sie signifikante Abweichungen von den KI-Empfehlungen

6.3 Nutzungsbedingungen

Das System dient ausschließlich der Unterstützung bei der Bewertung
Missbrauch (z.B. Upload fremder Dateien) ist verboten
Einhaltung der Prüfungsordnung Ihrer Institution ist erforderlich
Bei Fragen kontaktieren Sie idea@isartec.de

Ende der Anwender-Dokumentation

Bei Fragen oder Feedback kontaktieren Sie bitte: ISARtec Entwicklung - idea@isartec.de

Hilfe - Anwenderdokumentation