Über den Job

Mercor verbindet erstklassige kreative und technische Talente mit führenden AI-Forschungslaboren. Unser Hauptsitz befindet sich in San Francisco und zu unseren Investoren gehören Benchmark, General Catalyst, Peter Thiel, Adam D'Angelo, Larry Summers und Jack Dorsey.

Positionsdetails

• Position: AI Model Evaluator
• Typ: Vollzeit- oder Teilzeit-Vertragsarbeit
• Vergütung: $60–$100/Stunde
• Standort: Remote

Verantwortlichkeiten

• Bewerten Sie von LLM generierte Antworten auf Anfragen zu Programmierung und Softwareentwicklung nach Genauigkeit, Logik, Klarheit und Vollständigkeit.
• Faktencheck mit vertrauenswürdigen öffentlichen Quellen und autoritativen Referenzen durchführen.
• Code ausführen und Ergebnisse mithilfe geeigneter Werkzeuge zur Genauigkeitstestung validieren.
• Kennzeichnen Sie Modellantworten, indem Sie Stärken, Verbesserungsbereiche und faktische oder konzeptionelle Ungenauigkeiten identifizieren.
• Bewerten Sie die Codequalität, Lesbarkeit, algorithmische Korrektheit und Erklärungqualität.
• Stellen Sie sicher, dass die Modellantworten den erwarteten Konversationsverhalten und Systemrichtlinien entsprechen.
• Wenden Sie konsistente Bewertungsstandards an, indem Sie klaren Taxonomien, Benchmarks und detaillierten Bewertungsrichtlinien folgen.

Qualifikationen

Erforderlich

• BS, MS oder PhD in Informatik oder einem verwandten Feld
• Mindestens 5 Jahre Berufserfahrung in der Softwareentwicklung oder verwandten technischen Rollen
• Expertenkenntnisse in mindestens zwei relevanten Programmiersprachen (z.B. Python, Java, C++, C, JavaScript, Go, Rust, Ruby, SQL, Powershell, Bash, Swift, Kotlin, R, TypeScript, HTML/CSS)
• Fähigkeit, HackerRank- oder LeetCode-Probleme mittlerer und hoher Komplexität selbständig zu lösen
• Erfahrung in Beiträgen zu bekannten Open-Source-Projekten, einschließlich gemergter Pull-Requests
• Erhebliche Erfahrung mit der Nutzung von LLMs beim Programmieren und dem Verständnis ihrer Stärken und Fehlerarten
• Starker Fokus auf Details und Komfort bei der Bewertung komplexer technischer Argumentationen, dem Erkennen subtiler Fehler oder logischer Lücken

Bevorzugt

• Frühere Erfahrung mit RLHF, Modellbewertung oder Datenanmerkung
• Erfolge im Bereich des wettbewerbsorientierten Programmierens
• Erfahrung in der Codeüberprüfung in Produktionsumgebungen
• Vertrautheit mit mehreren Programmierparadigmen oder -ökosystemen
• Erfahrung in der Erklärung komplexer technischer Konzepte an nicht-expert Gruppen

Bewerbungsprozess

(Dauert 20–30 Minuten)

• Lebenslauf hochladen
• KI-Interview basierend auf Ihrem Lebenslauf
• Formular abschicken

Ressourcen & Unterstützung

• Für Details über den Interviewprozess und Plattforminformationen, besuchen Sie bitte: https://talent.docs.mercor.com/welcome/welcome
• Für Hilfe oder Unterstützung, wenden Sie sich an: support@mercor.com

PS: Unser Team überprüft täglich Bewerbungen. Bitte vervollständigen Sie Ihr KI-Interview und die Bewerbungs Schritte, um für diese Gelegenheit in Betracht gezogen zu werden.