Prüfen Sie KI-Ergebnisse
Menschen können Texte, Code, Bilder, Recherchen oder andere KI-generierte Inhalte anhand Ihrer Prüffrage bewerten. Nutzen Sie ihr Feedback und optionale KI-Bewertungen, um das nächste Ergebnis zu verbessern. Ihr Team trifft die abschließende Entscheidung.
Die Bewertungs-KI prüft unterstützte Aufgaben standardmäßig, sobald der Eigentümer die Verarbeitung erlaubt, allein oder zusammen mit eingeladenen Prüfenden. Ihre Bewertungen sind beratend und ersetzen keine vorgeschriebene menschliche Prüfung. Unterstützte KI-Aufgaben.
Der KIAssuranceLoop
- 01
Eigentümer legt Regeln fest
Prüfregeln, Zugriffsrechte, Datengrenzen und Fristen festlegen.
- 02
Agent reicht Arbeit ein
Reicht die Arbeit, ihren Kontext, das angegebene Risiko und Nachweise innerhalb der freigegebenen Regeln ein.
- 03
KI und Menschen bewerten
Optionale KI-Bewertungen ergänzen menschliche Prüfungen. Prüfende sehen andere Antworten nicht. Erforderliche menschliche Prüfungen bleiben bei Menschen.
- 04
Bewerten und verbessern
Nutzen Sie dasselbe menschliche Feedback, um die Bewertungs-KI zu trainieren oder die Modellwahl zu optimieren.
1. Geltungsbereich der Prüfrichtlinie festlegen
Wählen Sie den Anteil menschlicher Prüfungen unter Agenten → Prüfeinstellungen → Menschliche Prüfung über Auswirkungen eines KI-Fehlers. Bei 50 beginnt er mit 50 % und kann nach ausreichend vergleichbaren Ergebnissen auf 25 % sinken. Ist adaptive Prüfung nicht verfügbar, bleibt er bei 50 %.
Bei 0 bewertet die unabhängige Bewertungs-KI prüfberechtigte Ausgaben ohne anfängliche menschliche Kalibrierung. Bei 100 braucht jede prüfberechtigte Ausgabe eine menschliche Prüfung, und es entsteht keine KI-Bewertung. Bereits gespeicherte Tragweite-Richtlinien bleiben rein menschlich, bis die verantwortliche Person ausdrücklich eine neue Verteilung wählt.
RateLoop trennt Prüfbelege nach Agentenversion, Richtlinienversion, Ablauf, Risikostufe und Kreis der Prüfenden. Ein neuer oder geänderter Geltungsbereich beginnt mit häufigen Prüfungen. Stabile Übereinstimmung kann die Grundabdeckung senken; kritisches Risiko, fehlender Kontext, eine lange ungeprüfte Lücke oder schwächere Übereinstimmung können eine weitere Prüfung erfordern.
Der Workspace-Eigentümer steuert die Frage, Antwortfrist, eingeladene Prüfgruppe und das erlaubte Material in Prüfeinstellungen. Belege aus einem anderen Geltungsbereich können die Prüfabdeckung nicht stillschweigend senken.
2. Der Agent fordert eine Prüfung an
Nach der Verbindung liest der Agent seinen vom Eigentümer freigegebenen Kontext und bewertet jedes geeignete Ergebnis. Wenn eine Prüfung erforderlich ist, fordert er sie einmal an und wartet auf denselben Vorgang, statt ein Duplikat zu erstellen. Allgemeine MCP-Integrationen haben beratenden Charakter; nur eine verifizierte Host-Integration mit Kontrolle über die Ausgabe kann belegen, dass die Ausgabe während des Wartens gesperrt blieb. Derzeit erreicht kein Host diese Stufe.
Siehe Agenten und MCP für die Verbindungs- und Werkzeugabfolge.
3. Berechtigte Prüfende antworten, ohne andere Antworten zu sehen
Nur Personen, die Ihr Workspace eingeladen hat, können seine Prüfungen erhalten. Eine zugewiesene prüfende Person sieht das benötigte Material, wählt eine Antwort und kann vor Ablauf der Frist eine Begründung ergänzen. Andere Antworten und KI-Bewertungen bleiben während der Beantwortung verborgen.
Menschen hat drei Tabs: Zu prüfen, Profil und Einstellungen. Im Profil finden Sie Ihre Kontodaten, den Workspace-Zugriff und Meine Prüfungen herunterladen (CSV). Der Download enthält Ihre eigenen zugänglichen Prüfungen; verblindete Richtlinienprüfungen liefern eine Abgabebestätigung, ohne verborgene Antworten oder Bezeichnungen offenzulegen.
Jede Prüfoption der öffentlichen Alpha akzeptiert nur öffentliches, synthetisches oder sicher geschwärztes Material. Workspace-begrenzter Zugang ist keine Erlaubnis, vertrauliche Kundendaten, Geheimnisse, regulierte Daten oder personenbezogene Daten einzureichen, zu deren Weitergabe Sie nicht berechtigt sind.
4. RateLoop liefert Ergebnis und Belege
Das Ergebnis führt Prüffrage, Richtlinienumfang, Urteil, Begründungen, Übereinstimmung oder Abweichungen und verfügbare Nachweise zusammen. Workspace-Mitglieder können abgeschlossene Prüfungen und zugehörige Nachweise gemeinsam unter Ergebnisse einsehen.
Die Belege zeichnen auf, was der Prüfprozess beobachtet hat. Sie beweisen nicht, dass das Ausgangsmaterial richtig war, jede Agentenausgabe abgefangen wurde oder eine spätere Kundenentscheidung konform war.
5. Ihr Team entscheidet über das weitere Vorgehen
Der verantwortliche Eigentümer entscheidet über Freigabe, Überarbeitung, erneute Prüfung, Eskalation oder Stopp. RateLoop liefert Belege menschlicher Prüfungen; es erteilt keine automatische Produktions-, Sicherheits-, Rechts-, Medizin- oder Compliance-Freigabe.
Mit demselben Feedback Modelle auswählen
Aktivieren Sie Modellkosten optimieren für Text aus Chat oder der API. Mit Ihrer Erlaubnis für privates Lernen können vorhandene menschliche Bewertungen die Modellauswahl verbessern. Für die Qualifizierung muss im Bewertungszeitraum jede Antwort menschlich geprüft werden; eine zweite Prüfung wird nicht angefordert.
RateLoop kann zugelassene Modelle bei einem kleinen Anteil neuer Anfragen erproben. Sobald genügend menschliches Feedback eine Änderung stützt, wählt es das Modell mit den niedrigsten geschätzten Kosten, das für Ihre gespeicherte Prüffrage und die Art Ihrer Anfrage validiert wurde. Bis dahin bleibt Ihr Standardmodell außerhalb zugelassener Versuche aktiv.
Sie behalten die Kontrolle über zugelassene Modelle und Ausgaben und können die Optimierung jederzeit ausschalten. Einsparungen hängen von Ihren Aufgaben ab. Eine Prüfverbindung allein ändert nicht das Modell, das ChatGPT, Codex oder andere externe Anwendungen verwenden.
In Claude Code kann das RateLoop-Plugin dieselben Belege auf Agentensitzungen anwenden. Hat ein günstigeres Claude-Modell Ihren Prüfstandard für einen Ablauf erfüllt, führt es neue Sitzungen dieses Ablaufs mit diesem Modell aus, nie oberhalb des gewählten Modells und mit den eigenen Claude-Code-Zugangsdaten. Andere Anwendungen erhalten die Empfehlung über das schreibgeschützte Leitfaden-Tool, und Inhaber sehen die Modelleignung jedes Ablaufs unter Agenten → Setup → Bewerten und verbessern.
Weiter mit der Belegreferenz für Grenzen der Aufzeichnungen oder Anwendungsfälle für beispielhafte Prüffragen.