Bewertungs-KI

Nutzen Sie gehostete KI oder verbinden Sie ein Gerät unter Agenten → Verbindungen → Lokale KI. Bewerten Sie Texte mit Ihrer eigenen Frage durch Menschen, KI oder beide. Training ist optional.

Unterstützte Aufgaben

Der aktuelle GLiNER2.5-multilingual-Evaluator unterstützt eigene binäre Fragen für englische und deutsche Texte. Legen Sie eine Frage und zwei Antworten fest, etwa Ja / Nein oder Belegt / Nicht belegt. Zum Start benötigen Sie keinen Trainingsdatensatz.

Beispiele sind der Abgleich einer Zusammenfassung mit einer Quelle, die Prüfung von Formulierungen anhand eines Stilhandbuchs oder eines Dokuments anhand einer Vorgabe. Ergänzen Sie bei Bedarf Kontext oder Referenzmaterial. Ob das Modell Ihre Aufgabe gut erfüllt, muss geprüft werden.

Diese Version bewertet Text innerhalb des Eingabelimits von 512 Token. Sie führt keinen Code aus und prüft keine Bilder, Audiodateien oder Videos. Menschliche Prüfung bleibt für das im Einreichungsablauf unterstützte Material verfügbar.

Die Freigabe von Kundenantworten bleibt eine optionale Vorlage. Ältere registrierte Modelle behalten ihre ursprüngliche Frage; eigene Fragen benötigen ein kompatibles Modell und Ihre ausdrückliche Erlaubnis.

Im Chat starten

Öffnen Sie Chat, melden Sie sich an und wählen Sie für Ihre erste Eingabe Senden und bewerten. Installation, Modellanbieter-Schlüssel, Modellauswahl oder Einladungen an Prüfende sind nicht erforderlich. Die gespeicherte Antwort und die beratende KI-Bewertung erscheinen zusammen. Bestehende Vorgaben für menschliche Prüfungen gelten weiterhin.

Chat öffnen

Sie können dauerhaft gehostete KI verwenden. Ihr Computer muss dafür nicht eingeschaltet bleiben; die angezeigten Nutzungskontingente gelten weiterhin. Nutzen Sie in der Alpha öffentliche, synthetische oder sicher geschwärzte Inhalte.

Ein externer Agent, den der Eigentümer verbindet, startet mit derselben gehosteten KI-Prüfung. Das Erstellen seiner Verbindungsnachricht erlaubt der Bewertungs-KI, die geprüften Antworten des Agenten zu verarbeiten; Training ist damit nicht erlaubt. Für ein anderes Modell öffnen Sie Agenten → Setup → KI-Einstellungen. Wenn ein älteres Modell Eigene Fragen aktivieren anbietet, erlauben Sie damit die Nutzung dieses Modells.

Eine Antwort im Chat prüfen

Die gespeicherte Prüffrage misst ein Kriterium, etwa ob eine Antwort die Anfrage erfüllt. Sie belegt nicht, dass jede Tatsachenbehauptung richtig ist. Einfache arithmetische Gleichungen werden separat mit einem exakten Rechner geprüft; nicht unterstützte Schreibweisen und die Bedeutung jenseits der Rechnung bleiben ungeprüft.

Wählen Sie Fakten online prüfen für eine Online-Prüfung. Nach Ihrer Erlaubnis gehen die ausgewählte Antwort und ihr Prüfkontext über Vercel AI Gateway an das konfigurierte OpenAI-Modell und dessen Websuche. Diese Option ist bei lokalen Entwürfen oder lokalen Bewertungen nicht verfügbar. Die angezeigten Nutzungslimits gelten.

Die KI wählt bis zu fünf Aussagen aus und verweist auf bis zu drei abgerufene Quellen. Tatsachenbehauptungen können gestützt, widerlegt oder ohne ausreichende Belege bleiben; Meinungen werden nicht auf Tatsachen geprüft. Öffnen Sie die Quellenlinks, um die Belege selbst zu prüfen. Der Anbieter liefert keine Quellenauszüge zurück; daher werden keine angezeigt. Die Auswahl kann Aussagen übersehen, Quellen können falsch oder veraltet sein, und die Belege werden von KI beurteilt. Diese Prüfungen validieren keine Konfidenz, belegen nicht die Richtigkeit der gesamten Antwort und ersetzen keine vorgeschriebene menschliche Prüfung.

Lokale KI verbinden

Öffnen Sie Agenten → Verbindungen → Lokale KI und wählen Sie Gerät verbinden. Erstellen Sie einen Verbindungscode und folgen Sie der Installationsanleitung für den Evaluator. Geben Sie den privaten Einmalcode im Evaluator ein, starten Sie ihn und prüfen Sie die Verbindung in RateLoop.

Sie können die Einrichtung vor Ihrer ersten Chat-Nachricht abschließen. Eine Verbindung kann Chat-Entwürfe, Chat-Bewertungen oder beides unterstützen. Diese Auswahl gilt nur für Chat; externe Agenten behalten ihre gespeicherten KI-Einstellungen. Der Link KI-Einstellungen im Chat öffnet Verbindungen.

Lokale KI öffnen · Evaluator installieren und ausführen

Chat-Bewertungen auf Ihrem Gerät ausführen

Bestätigen Sie unter Chat-Bewertungen die Prüffrage und wählen Sie ein kompatibles Modell. Erlauben Sie anschließend ausdrücklich dessen Nutzung für künftige Bewertungen. Das ändert künftige Chat-Bewertungen; Antworterstellung, erforderliche menschliche Prüfungen und frühere Ergebnisse bleiben erhalten. Die Verbindung erlaubt kein Training und kopiert keine bisherigen Datensätze.

Auf dieser Website eingegebene Inhalte werden weiterhin bei RateLoop gespeichert. Künftige Bewertungsinhalte einschließlich des nötigen Kontexts gehen an das ausgewählte Gerät. Die KI läuft lokal; der Ablauf ist weder vollständig offline noch auf kundeneigene Speicherung beschränkt.

Lassen Sie das Gerät während der Bewertung eingeschaltet. Ist es offline, wechselt RateLoop nicht automatisch zur gehosteten KI. Verbinden Sie es erneut oder wählen Sie ausdrücklich Gehostete Bewertungen erlauben für künftige Aufgaben. Verbindung trennen entzieht dem Gerät den Zugriff; frühere Ergebnisse behalten das aufgezeichnete Modell und den Verarbeitungsort.

Chat-Entwürfe auf Ihrem Gerät erstellen

Wählen Sie unter Chat-Entwürfe in Verbindungen → Lokale KI ein verbundenes Gerät und ein Modell, führen Sie die Testanfrage aus und wählen Sie Für neue Chats erlauben. Starten Sie einen neuen Chat oder erlauben Sie ausdrücklich, den Kontext eines früheren Gesprächs an das gewählte Gerät und das Modell zu senden. Entwürfe bleiben bei RateLoop gespeichert. Bewertungs- und Trainingserlaubnisse sind getrennt; ein Gerät ohne Verbindung löst niemals einen automatischen Wechsel zur gehosteten KI aus.

Gespeichertes Setup testen

Öffnen Sie Agenten → Setup → Beispiel ausprobieren. Geben Sie Text und bei Bedarf Kontext ein. Der Test verwendet die gespeicherte Frage und Prüfverteilung des gewählten Agenten. Prüfen Sie vor dem Start die angezeigten Folgen für Prüfende und Kontingent. Ein Test erlaubt kein Training.

• Menschliche Prüfung: Ihre eingeladenen Prüfenden antworten. Es entsteht kein KI-Auftrag, und eine Evaluator-Verbindung ist nicht erforderlich.
• Bewertungs-KI: Das verbundene Modell bewertet den Fall. Es wird keine menschliche Prüfung beauftragt; das Ergebnis ist als KI gekennzeichnet.
• KI + Mensch: Beide prüfen denselben Fall. Die KI-Antwort bleibt bis zum menschlichen Ergebnis verborgen, damit Prüfende unbeeinflusst antworten können.

Die feste Frage und die Antwortoptionen des Agenten gelten weiterhin. Dieses Formular erfordert eine gespeicherte feste Frage. Richtlinien mit einer Frage je Anfrage testen Sie über den verbundenen Agenten. Der Test führt die aktivierten Prüfarten einmal aus und verbraucht eine Prüfung im Kontingent; er testet keine automatische Stichprobe. Der Test ändert die gespeicherte Richtlinie nicht.

Eine KI-Bewertung ist eine Empfehlung, keine menschliche Freigabe, qualifizierte menschliche Prüfung oder ein Nachweis einer vorgeschriebenen menschlichen Prüfung. Fehlende Eingaben, Berechtigungen oder ein kompatibles Modell führen zu einer ausdrücklichen Fehlermeldung, nicht zu einer abgeschlossenen Bewertung.

KI mit Beispielen anleiten

Wählen Sie Beispiel hinzufügen bei Ihrer KI-Frage, um bis zu vier kurze Texte mit den erwarteten Antworten anzugeben. Die Beispiele leiten diese Frage an, ohne die Modellgewichte zu ändern. Sie werden mit der Frage gespeichert und an den Evaluator gesendet. Verwenden Sie deshalb öffentliche, synthetische oder sicher geschwärzte Inhalte.

Beispiele teilen sich die Grenze von 512 Tokens mit Frage, Text und Kontext. Ein geändertes Beispiel erzeugt eine neue Bewertungsdefinition; frühere Kalibrierung wird nicht übernommen. Halten Sie Vergleichsdaten von diesen Beispielen getrennt.

Prüfverteilung eines Agenten festlegen

Eine unabhängige KI-Prüfung ist eine separate Bewertung der eingereichten Ausgabe durch die Bewertungs-KI. Sie bedeutet nicht, der KI zu vertrauen, die die Ausgabe erstellt hat.

In den Prüfeinstellungen des verbundenen Agenten legt Auswirkungen eines KI-Fehlers den anfänglichen menschlichen Anteil fest. Gespeicherte KI-Verteilungen verwenden eine feste Frage mit passenden Antwortoptionen. Neue Agenten starten nach der Verarbeitungserlaubnis des Eigentümers nur mit unabhängiger KI-Prüfung; menschliche Prüfung ist optional und kann jederzeit hinzugefügt werden.

• Nur unabhängige KI-Prüfung: Die Bewertungs-KI bewertet von Anfang an jeden geeigneten Fall. Menschliche Prüfung oder anfängliche menschliche Kalibrierung ist nicht erforderlich.
• Zwischen den Endpunkten: Menschliche Prüfung beginnt mit dem angezeigten Anteil, und eine unabhängige KI prüft die übrigen geeigneten Fälle. Regeln für Belege, Stichproben und Abweichungen können den menschlichen Anteil oberhalb seines Minimums anpassen.
• Nur Menschen: Jeder geeignete Fall geht an Menschen. Es wird keine KI-Bewertung erstellt.

Der Anteil ist ein Ziel über geeignete Fälle hinweg, keine Garantie für wenige Fälle. Ist adaptive Prüfung nicht verfügbar, bleibt er fest. Bestehende rein menschliche Richtlinien behalten ihre Einstellungen, bis sie ausdrücklich geändert werden. Zugewiesene Arbeit und Veröffentlichungsrechte bleiben unverändert.

Der Agent muss den zu bewertenden Text liefern; Hashes allein können nicht bewertet werden. Kontext und Referenzmaterial sind optional. Mit aktiviertem privatem Lernen kann eine gemischte Prüfung ausgewählte menschliche Ergebnisse mit der KI vergleichen, während KI-Antworten für Prüfende verborgen bleiben.

Mit eigenen Beispielen trainieren

Öffnen Sie unter Setup Mit eigenen Beispielen trainieren. Das Formular zeigt, ob Ihr Workspace gehostetes Training oder ein verbundenes Gerät nutzt. Prüfen Sie den Verarbeitungsort, bevor Sie die Erlaubnis erteilen. Zurück zur Einrichtung führt ohne weitere Registerkarten zur Einrichtung zurück.

1. Beispiele hinzufügen: Legen Sie die Frage fest, laden Sie CSV oder JSONL hoch und prüfen Sie die Feldzuordnung und Bewertungen. Verwenden Sie mindestens drei Quellgruppen; verwandte Dokumente oder Gespräche müssen dieselbe Gruppe haben. Unbewertetes Referenzmaterial wird nicht automatisch zu Trainingsdaten.
2. Importieren Sie nur öffentliche, synthetische oder sicher geschwärzte Beispiele, die Sie verwenden dürfen. Erteilen Sie die Erlaubnis zum privaten Lernen getrennt von der KI-Bewertung. Importe sind auf 2 MB und bis zu 2.000 Zeilen begrenzt; der verbundene Trainer kann weniger erlauben.
3. Vergleichen Sie das Ausgangsmodell anhand zurückgehaltener Beispiele. Wählen Sie anschließend Privaten Kandidaten trainieren. Training benötigt genügend Beispiele jeder Antwort für einen getrennten Validierungssatz und verändert das aktive Modell nicht.
4. Prüfen Sie den Vergleich anhand desselben Benchmarks, einschließlich Stichprobengröße, Übereinstimmungsintervall und Fehlern. Ein Kandidat mit unzureichenden Nachweisen oder ohne Verbesserung wird nur zum Testen gekennzeichnet. Wählen Sie Kandidaten aktivieren ausdrücklich. Vorheriges Modell wiederherstellen ermöglicht die Rückkehr.

Importierte eigene, KI-unterstützte und synthetische Bewertungen sind Referenzurteile, keine unabhängige menschliche Qualifikation. Reine KI-Bewertungen erzeugen keine menschlichen Bewertungen. Anweisungen und Referenzdokumente trainieren das Modell nicht, solange Sie keinen getrennt autorisierten Trainingslauf starten.

Importierte Beispiele verfallen nach 30 Tagen. Datensatz löschen entfernt gespeicherte Beispiele, stoppt ihre Trainingsaufträge und nimmt betroffene Kandidaten außer Betrieb. Ein Widerruf sperrt künftige berechtigte Nutzung; er entfernt nicht den Einfluss eines Beispiels aus bestehenden Gewichten.

Aus künftigen Prüfungen lernen

Wählen Sie unter Training die gespeicherte Frage und erlauben Sie privates Lernen aus künftigen Prüfungen. Ein kompatibler gehosteter Dienst oder verbundenes Gerät sammelt berechtigte Texte, Kontext, Belege und geeignete menschliche Urteile zu dieser Frage. Bisherige Daten bleiben ausgeschlossen; Prüfende verwenden ihr gewohntes Formular.

Ein Trainingslauf benötigt mindestens 200 neue Quellgruppen und getrennte spätere Beispiele für den Vergleich. Pro Tag ist höchstens ein Lauf mit bis zu 200 Trainingsschritten vorgesehen. Die Anzeige nennt die Zahl geeigneter Belege und den Grund für Wartezeiten. Jeder Kandidat wird mit dem aktuellen Modell und Referenzmethoden verglichen; einen verbesserten Kandidaten aktivieren Sie ausdrücklich.

Lernen stoppen beendet die künftige Sammlung und ausstehende Trainingsaufträge. Beispiele verfallen nach 30 Tagen. Das Löschen von Beispielen oder der Widerruf ihrer Erlaubnis sperrt betroffene Datensätze und Kandidaten. Eine Verbesserung bei der gespeicherten Frage belegt weder allgemeine sachliche Richtigkeit noch validierte Konfidenz.

Lernberechtigungen

KI-Bewertung, das Training eines privaten Modellkandidaten für einen Workspace und die Verbesserung eines gemeinsam genutzten Modells sind getrennte Zwecke. Das Aktivieren der Bewertung oder Einladen von Prüfern erlaubt kein Training. Eine Berechtigung zum privaten Lernen erlaubt keine Nutzung für andere Workspaces.

Dieser Ablauf aktiviert kein Training gemeinsam genutzter Modelle. Eine künftige Option dafür erfordert eine getrennte, ausdrückliche Zustimmung sowie festgelegte Daten, Aufbewahrungs- und Widerrufsbedingungen. Die Organisation muss außerdem über die nötigen Rechte am Material verfügen und die Rechte betroffener Personen berücksichtigen.

Betriebsdaten für Bereitstellung und Sicherheit des Dienstes sind keine automatische Trainingslizenz. Das Löschen von Beispielen oder Widerrufen einer künftigen Nutzung entfernt deren Einfluss nicht automatisch aus einem bereits trainierten Modell; die Löschung oder das erneute Training des Modells muss gesondert behandelt werden.

Mit öffentlichen Datensätzen beginnen

Der Open-Source-Evaluator enthält ein lokales Werkzeug zur Vorbereitung von HelpSteer2, HelpSteer3 Principle und OpenPII 1M. Wählen Sie ein Bewertungskriterium, behalten Sie die Quellenangabe bei und prüfen Sie die vorbereiteten Bewertungen vor dem Import. Es wird nichts automatisch heruntergeladen oder trainiert.

HelpSteer2 enthält menschliche Bewertungen, HelpSteer3 Principle KI-unterstützte Urteile und OpenPII 1M synthetische Daten. Importierte öffentliche Daten gelten nicht als unabhängige menschliche Qualifikation. Lizenzen und Quellversionen werden mit den vorbereiteten Dateien dokumentiert.

Öffentlichen Datensatz vorbereiten

Messwerte verstehen

Modellunsicherheit zeigt, wie konzentriert oder verteilt die Antwortwerte sind. Sie ist eine experimentelle Bewertungsstreuung, keine Wahrscheinlichkeit, dass die Bewertung falsch ist. Rohwerte sind keine kalibrierten Wahrscheinlichkeiten; eine verfügbare Kalibrierung gilt nur für das zugehörige Modell und die zugehörige Frage.

Trainingsvergleiche messen die Übereinstimmung mit den Datenbewertungen anhand ungesehener Beispiele. Ihre Intervalle spiegeln die Unsicherheit der Stichprobe wider. Testen Sie repräsentative Fälle und prüfen Sie Fehler, bevor Sie sich auf ein Modell verlassen; Integrationstests belegen den Betrieb, nicht die Genauigkeit.

Prüfen Sie die Anzahl der Beispiele je Antwort. Ausgewogene Übereinstimmung gewichtet jede Antwort gleich, sodass eine häufige Antwort Fehler bei der selteneren nicht verdeckt. Ergebnisse je Antwort zeigt, welche Antworten das Modell korrekt erkennt und wo es unentschieden bleibt.

Die Modelleignung unter Bewerten und verbessern zeigt, wie oft die Bewertungs-KI bei den geprüften Antworten jedes Modells mit den Prüfenden übereinstimmte. Diese Übereinstimmung dient nur zur Einordnung: Ein Modell erfüllt den Prüfstandard allein aufgrund menschlicher Prüfungen.

Verarbeitungsort wählen

Website-Einreichungen durchlaufen den Workspace-Speicher von RateLoop. Das gehostete Basismodell läuft auf von RateLoop verwalteter Railway-Infrastruktur in Amsterdam ohne externen KI-Modellanbieter. Der Website-Ablauf ist nicht offline. Verwenden Sie in der Alpha nur öffentliches, synthetisches oder sicher geschwärztes Material.

Wo gehostetes Training aktiviert ist, laufen Training und private Kandidaten auf von RateLoop verwalteter Infrastruktur in Amsterdam. Ihr Computer kann ausgeschaltet sein. Während dieses Training läuft, warten Bewertungsaufträge. Bei einer Einrichtung mit verbundenem Gerät muss dieses weiterhin online sein; bestehende Datensätze werden nicht automatisch verschoben.

Der eigenständige Open-Source-Evaluator kann auch auf Ihrer Hardware mit lokaler Auswertung und Training laufen. Sie betreiben diese Installation selbst. Die Weitergabe von Beispielen oder Modellgewichten benötigt eine separate Erlaubnis.

Evaluator installieren und ausführen · Setup öffnen

Diese Anleitung herunterladen · Prüfvorlagen · Menschliche Aufsicht