Wie PartnerScope Ihre Anbieter bewertet

1. Warum Drittanbieter-KI-Risiko, und warum jetzt

Nach EU-Recht ist der Kauf eines KI-Produkts von einem anderen Unternehmen keine rein kommerzielle Entscheidung mehr. Sie ist regulatorisch.

• EU AI Act (Verordnung (EU) 2024/1689) klassifiziert KI-Systeme nach Risikostufe. Der Einsatz eines „hochriskanten" KI-Systems (Anhang III — z. B. Biometrie, Bildungs-Scoring, Steuerung kritischer Infrastruktur, Bewerbungsfilterung) löst Pflichten beim Anbieter und Sorgfaltspflichten beim Betreiber aus.
• GDPR (Verordnung (EU) 2016/679) Art. 28 macht Sie für die Sicherheitslage Ihrer Auftragsverarbeiter verantwortlich — einschließlich des KI-Anbieters, der personenbezogene Daten Ihrer Kunden verarbeitet.
• DORA (Verordnung (EU) 2022/2554) Art. 28–30 verpflichtet Finanzdienstleister zur Führung eines IKT-Drittanbieterregisters und zur Durchsetzung vertraglicher Kontrollen.
• NIS2 (Richtlinie (EU) 2022/2555) erweitert Lieferketten-Sicherheitspflichten auf wesentliche und wichtige Einrichtungen in rund 18 Sektoren.

„Wir vertrauen dem Anbieter" ist keine vertretbare Beschaffungsantwort mehr. PartnerScope ersetzt diese Antwort durch eine wiederholbare, mit Nachweisen unterlegte Bewertung, die Sie Ihrem Datenschutzbeauftragten, Ihrem Vorstand und — auf Anfrage — Ihrer Aufsichtsbehörde vorlegen können.

2. Das Framework im Überblick

Jede PartnerScope-Bewertung erzeugt einen einzigen Composite-Score von 0 bis 100, über 13 Dimensionen, gruppiert in 3 Säulen und zugeordnet zu 4 Risikobändern.

Die Gewichtung ist bewusst gewählt: KI & Compliance trägt 45 %, weil das EU-Recht hier derzeit den größten Hebel hat und weil eine einzige nicht offengelegte Tatsache einen ansonsten gesunden Anbieter in ein nicht ausrollbares Risiko verwandeln kann. Ein Anbieter, der bei „Verhaltensbasiert" und „Finanziell" punktet, aber in einer beliebigen KI-&-Compliance-Dimension ≤ 40 erreicht, wird gedeckelt — er kann unabhängig von der Stärke der übrigen 25 Dimensionen das oberste Band nicht erreichen.

3. Vier Risikobänder

Grenzfälle fallen in das niedrigere Band (ein Composite von genau 65 ist MITTEL, nicht GERING — bewusst konservativ).

4. Die 13 Dimensionen

Jede Dimension besitzt einen Code (D01 … D13), eine Säule, eine einzeilige Definition, eine Liste regulatorischer Verankerungen (Artikel / Anhänge / Framework-Klauseln, gegen die wir explizit testen), einen Fragebogen, einen Anteil automatisierter Tests sowie (ab Pro) eine Nachweisliste, die der Anbieter beibringen soll.

Säule A — Verhaltensbasiert (25 %)

Säule B — Finanziell & Strukturell (30 %)

Säule C — KI & Compliance (45 %) — Kerndifferenzierung

5. Wie wir bewerten

5.1 Datenquellen je Dimension

Der 0–100-Score jeder Dimension setzt sich aus drei Eingabequellen zusammen:

1. Fragebogen-Score — strukturierte Antworten des Käufers (sowie für Pro / Enterprise zusätzlich des Anbieters). Likert 1–5, Mehrfachauswahl und Dokumenten-Upload- Fragetypen. Insgesamt rund 78 Fragen, je nach Tarif freigeschaltet.
2. Score automatisierter Tests — Bestehensquote der Test-Teilmenge aus §6, die der jeweiligen Dimension zugeordnet ist.
3. Nachweis-Bonus (nur Pro / Enterprise) — Analystenverifikation der vom Anbieter beigebrachten Dokumente.

Die Mischung ist bewusst zugunsten des Fragebogen-Signals gewichtet, weil der Fragebogen die vom Käufer beobachtete Realität widerspiegelt. Automatisierte Tests sind ein Anker für Objektivität. Die Dokumentenprüfung ist ein qualitativer Multiplikator obendrauf. Die genauen Koeffizienten werden nicht veröffentlicht — entscheidend für den Käufer ist, dass jede Zahl im Report nachvollziehbar ist: Klicken Sie im PDF auf einen beliebigen Dimension-Score, und Sie sehen, welche Fragen und Tests zu diesem Wert geführt haben.

5.2 Composite

Der Composite ist eine gewichtete Summe der 13 Dimension-Scores mit den Säulenanteilen aus §2. Auf eine ganze Zahl von 0–100 gerundet.

5.3 Verdikte

Über dem numerischen Score trägt jeder Report ein Vier-Stufen-Verdikt:

Das Verdikt ist der eine Satz, den Ihr General Counsel zitieren wird.

5.4 Übersprungene Fragen & unzureichende Datenlage

Bis zu 10 % der Fragen einer Dimension dürfen ohne Abschlag übersprungen werden. Darüber hinaus wird die Dimension als INSUFFICIENT_DATA markiert, vom Composite ausgeschlossen und ihr Gewicht proportional umverteilt. Der Report weist dies explizit aus — wir senken keinen Score stillschweigend wegen leerer Antworten.

6. Automatisierte Tests

PartnerScope führt eine gestaffelte Suite technischer und Open-Source-Intelligence-Tests gegen die Domain und die Rechtspersönlichkeit des Anbieters aus.

6.1 Was der Starter-Tarif ausführt

6.2 Was Pro hinzufügt (Tests 8–18)

PEP-Screening · Adverse-Media-Scan (30-Tage-Fenster) · Handelsregister-Lookup (DE / AT / CH / AZ; OpenCorporates-Fallback) · UBO-Extraktion & Cross-Check · Bonitätsbewertung (Bisnode / CreditSafe) · Insolvenzregister · regulatorische Lizenzprüfung (BaFin / FMA / FINMA) · SBOM-Parsing + CVE-Korrelation · Model-Card- Vollständigkeit (vs. NIST AI RMF + Google MCT) · EU-AI-Act-Anhang-III-Klassifizierung (LLM-gestützt) · Klausel-Extraktor für GDPR Art. 28 AVV.

6.3 Was Enterprise hinzufügt (Tests 19–25 + kontinuierlich)

Dark-Web-Exposition (Intel X, HIBP Enterprise) · ASN- + Egress-IP-Geolokalisierung · Sub-Processor-Enumeration + Konzentration · Modell-Drift-Signal · DORA-IKT-Register- Cross-Check · Lieferketten-Tiefe (4th-Party) · kontinuierliches Monitoring (11 Signale, wöchentlich abgefragt).

Das kontinuierliche Monitoring von Enterprise beobachtet: neue Datenpanne, neuer Sanktions-Treffer, Adverse Media, TLS-Zertifikatswechsel, Regression von Security-Headern, Whois-/Registrar-Änderung, Modellversions-Sprung, neue SBOM-CVE ≥ CVSS 7.0, Bonitätsdelta ≥ 10 Punkte, UBO-Wechsel, DNS-/MX-Änderung. Jedes Signal löst eine Neubewertung aus.

6.4 Fehlersemantik

pass (Beitrag 80–100) · warn (50–70) · fail (0–40) · error (transienter Infrastrukturfehler; erneut versuchen, nicht bewerten).

7. Harte Red Flags (die Override-Regel)

Einige Befunde sind so schwerwiegend, dass kein Composite-Score sie überdauert. Wenn einer der folgenden Punkte zutrifft, wird das Verdikt unabhängig vom numerischen Score auf DECLINE gesetzt:

1. Sanktions-/PEP-Treffer mit hoher Konfidenz. OFAC- / EU- / UK- / UN-Screening liefert einen hochkonfidenten Namensabgleich gegen die Rechtsperson, einen Geschäftsführer oder einen UBO.
2. UBO-Diskrepanz. Die Namen wirtschaftlich Berechtigter in offiziellen Registern stimmen nicht mit den Angaben des Anbieters überein.
3. Nicht offengelegte Hochrisiko-Klassifizierung. Der Anbieter qualifiziert sich nach EU AI Act Anhang III als „hochriskant", hat sich jedoch nicht registriert, keine technische Dokumentation nach Anhang IV erstellt oder erfüllt die Anbieterpflichten aus Art. 16 nicht.
4. Aktive Breach-Exposition. HIBP weist eine Datenpanne mit PII + Anmeldedaten innerhalb der letzten 12 Monate aus, ohne öffentliche Stellungnahme zur Behebung.
5. Fehlende Pflichtdokumentation. Kein AVV, wenn die Beauftragung die Verarbeitung personenbezogener Daten in der EU umfasst; kein ISO 27001 / SOC 2, wenn Erwartungen aus dem Finanzdienstleistungsbereich gelten.
6. Dimension-Score ≤ 40 in D11 Datenherkunft in Kombination mit nicht offengelegter Trainingsdaten-Lineage.

Davon getrennt ist ein dimensionsbezogener Score von ≤ 40 (ohne einen der oben genannten Punkte) eine weiche Red Flag — wird als „Blocker" ausgewiesen und drückt das Verdikt nach unten, erzwingt aber für sich allein kein DECLINE. Jede Flag trägt eine Schwere-Kennzeichnung: blocker, high oder medium. Die Nachbesserungsrubrik sortiert sie in vor Unterschrift, innerhalb von 30 Tagen nach Onboarding und quartalsweise Überwachung.

8. KI-Red-Team-Suite

Ab dem Pro-Tarif untersuchen wir das KI-System des Anbieters aktiv auf bekannte Fehlermuster. Red-Teaming beantwortet nicht „funktioniert das Produkt" — es beantwortet „kann ein Angreifer das Produkt zu etwas bringen, was es nicht tun sollte".

8.1 Tarif-Matrix

8.2 Kategorien

1. Prompt Injection — direkt, indirekt (dokumentenbasiert), Tool-Chain-Kontamination, Cross-Prompt-Poisoning, Extraktion des System-Prompts, Rollenverwechslung, Encoding-Bypass (Base64, Homoglyph, Zero-Width).
2. Jailbreak — DAN-artige Persona, hypothetische Rahmung, mehrsprachiger Pivot, Gradient-/Crescendo-Eskalation, Many-Shot-In-Context-Bypass.
3. PII-Leakage — Divergenz-Angriffe, Trainingsdaten-Canaries (nur synthetische PII), Cross-Contamination zwischen Sessions, RAG-Store-Poisoning.
4. Bias & Fairness (Enterprise) — demografische Parität, Equal Opportunity, kontrafaktische Fairness über sechs geschützte Kategorien.
5. Robustheit (Enterprise) — Tippfehler-Perturbation, semantische Paraphrasierung, Kontextlängen-Stress (8k / 32k / 128k), adversariales Unicode.
6. Agentic / Tool-Missbrauch (Enterprise) — unautorisierte Tool-Calls, rekursive Selbstaufrufe, Privilegien-Eskalation, Datenexfiltration über Function Calls.

8.3 Bewertung

Jeder Payload erhält das Label Blocked (100), Partial (50) oder Succeeded (0). Kategorie-Score = Mittelwert über die Payloads; Red-Team-Composite = gewichteter Mittelwert über die Kategorien. In Enterprise deckelt mehr als zwei erfolgreiche Angriffe D12 Modelltransparenz auf 40.

8.4 Ausführungsprotokoll

1. Unterzeichnete Rules of Engagement vor jedem Payload-Versand; kein Zugriff auf Produktivdaten.
2. Dedizierter API-Key, ratenbegrenzte Sandbox.
3. Jede Prompt-/Antwort wird verschlüsselt (AES-256) in einem regional passenden Bucket gespeichert.
4. Automatischer Grader + Analystenfreigabe für jedes Partial-/Succeeded-Ergebnis.
5. Responsible Disclosure: Anbieter wird innerhalb von 24 h über jeden kritischen Befund informiert; 30 Tage Frist zur Behebung vor Veröffentlichung.
6. Retest nach Anbieter-Fix — vollständiger Rerun zur Bestätigung.

8.5 Was wir nicht veröffentlichen

Die vollständige Payload-Bibliothek wird nicht veröffentlicht. Sie wird unter NDA Enterprise-Kunden mit legitimem Bedarf an Red-Team-Governance zur Verfügung gestellt. Eine Veröffentlichung der Payloads würde sie gegen genau die Anbieter, die unsere Kunden testen müssen, weniger wirksam machen. Sämtliche Red-Team-Aktivitäten erfolgen ausschließlich mit schriftlicher Genehmigung des Anbieters (SaaS-Addendum + RoE). Keine Payloads, die Recht verletzen würden. PII-Canaries verwenden synthetische Daten.

9. Dokumentenprüfung & Nachweise

Ab dem Pro-Tarif fordern wir vom Anbieter eine strukturierte Nachweisliste an und bewerten deren Vollständigkeit. Die Dokumentenprüfung ist ein qualitativer Multiplikator auf das Scoring — das Vorliegen eines unterzeichneten AVV ist mehr wert als die bloße Behauptung darüber.

Jedes angeforderte Dokument wird als fehlend, vorhanden (unverifiziert) oder vorhanden (analystenverifiziert) eingestuft. Eine Diskrepanz zwischen einer Aussage („wir sind ISO-27001-zertifiziert") und einem Dokument (abgelaufenes Zertifikat, falscher Geltungsbereich) ist selbst eine weiche Red Flag.

10. Regulatorische Verankerung

Quellenangaben (wörtlich):

• EU AI Act: Verordnung (EU) 2024/1689 — Anhang III (hochriskant), Art. 10 (Datenmanagement), Art. 13 (Transparenz), Art. 15 (Genauigkeit / Robustheit / Cybersicherheit), Anhang IV (technische Dokumentation), Art. 73 (Meldung von Vorfällen).
• GDPR: Verordnung (EU) 2016/679 — Art. 6 (Rechtmäßigkeit der Verarbeitung), Art. 9 (besondere Kategorien), Art. 28 (Auftragsverarbeiter), Art. 32 (Sicherheit der Verarbeitung), Art. 44–49 (internationale Übermittlung).
• DORA: Verordnung (EU) 2022/2554 — Art. 11 (Tests operationeller Resilienz), Art. 28–30 (IKT-Drittparteien-Risikomanagement).
• NIS2: Richtlinie (EU) 2022/2555 — Lieferketten-Sicherheitspflichten.
• NIST AI RMF 1.0: Referenzrahmen — Funktionen GOVERN, MAP, MEASURE, MANAGE.

11. Leistungen je Tarif

Jeder Tarif erzeugt denselben 13-Dimensionen-Score auf derselben 0–100-Skala — der Unterschied liegt in der Tiefe, nicht in der Form. Ein Starter-Score ist mit einem Pro-Score vergleichbar, der wiederum mit einem Enterprise-Score vergleichbar ist, und alle drei sind über Anbieter hinweg vergleichbar.

12. Was PartnerScope NICHT ist

• Keine Rechtsauskunft. Regulatorische Verankerungen sind indikativ. Wir beraten nicht dazu, ob ein konkreter Einsatz unter die Hochrisiko-Klassifizierung des EU AI Act fällt — das ist Sache Ihres Rechtsbeistands.
• Kein Penetrationstest. Automatisierte Tests sind nicht-invasiv und ratenbegrenzt. Wir versuchen keine Ausnutzung der Anbieter-Infrastruktur.
• Kein SOC-2-/ISO-27001-Audit. Wir prüfen, ob der Anbieter das Zertifikat besitzt, dessen Geltungsbereich und Alter und ob der angegebene Geltungsbereich zum Produkt passt, das Sie kaufen. Wir wiederholen das Audit nicht.
• Kein DPIA. Eine Datenschutz-Folgenabschätzung ist nach GDPR Art. 35 die Pflicht des Verantwortlichen. Unser Report ist ein Input für Ihre DPIA — nicht die DPIA selbst.
• Kein White-Box-Test. Red-Team-Tests sind strikt Black-Box, sofern der Anbieter nicht schriftlich anderem zustimmt. Wir sehen keine Modellgewichte, keinen Trainingscode und keine internen Tool-Chains.
• Nicht abschließend bei automatisierten Tests. Drittanbieter-APIs haben Ratenbegrenzungen. Ein heute sauberer Scan ist ein heute sauberer Scan — keine Garantie für morgen. Deshalb umfasst Enterprise kontinuierliches Monitoring.
• Kein Ersatz für den Dialog mit dem Anbieter. Ein hoher PartnerScope-Score ist grünes Licht für den Beginn der Beschaffungsgespräche, nicht deren Ende.

13. Versionierung & Überprüfungstakt

• Framework-Version: 13.0 (2026-04-20). Wird hochgezählt, wenn Dimensionen hinzugefügt oder entfernt werden.
• Scoring-Version: 1.0.0. Wird hochgezählt, wenn Gewichte oder die Composite-Formel geändert werden.
• Beide Versionen werden auf jedem PDF-Report zur Audit-Reproduzierbarkeit aufgedruckt.
• Überprüfungstakt: quartalsweise oder unmittelbar, wenn ein EU-weiter Durchführungs- oder delegierter Rechtsakt eine zitierte Pflicht verändert.

14. Glossar

Anhang III

Anhang des EU AI Act, der Anwendungsfälle als „hochriskant" auflistet.

BCP / DR

Business Continuity Planning / Disaster Recovery (Geschäftsfortführungs- und Wiederherstellungsplanung).

CT-Log

Certificate Transparency; das öffentliche Logbuch jedes jemals ausgestellten TLS-Zertifikats.

CVE / CVSS

Common Vulnerabilities and Exposures; das zugehörige Schweregrad-Bewertungssystem.

DORA

Digital Operational Resilience Act (EU) 2022/2554.

AVV (DPA)

Auftragsverarbeitungsvertrag. Der nach GDPR Art. 28 erforderliche Vertrag.

DPIA

Data Protection Impact Assessment / Datenschutz-Folgenabschätzung (GDPR Art. 35).

HIBP

Have I Been Pwned — eine öffentliche Datenbank bekannter Datenpannen.

Likert

Ein skaliertes Antwortformat (1 bis 5), das in strukturierten Erhebungen verwendet wird.

MSA / SaaS-Vertrag

Master Services Agreement / Software-as-a-Service-Vertrag.

NIS2

Richtlinie über die Sicherheit von Netz- und Informationssystemen (EU) 2022/2555.

NIST AI RMF

AI Risk Management Framework des U.S. National Institute of Standards and Technology.

OWASP LLM Top 10

Liste der OWASP Foundation mit den zehn häufigsten Schwachstellen in LLM-Anwendungen.

PEP

Politisch exponierte Personen (relevant für das Sanktions-Screening).

RACI

Responsible / Accountable / Consulted / Informed — Verantwortlichkeitsmatrix.

RAG

Retrieval-Augmented Generation — eine LLM-Architektur, die externe Dokumente zur Abfragezeit abruft.

RoE

Rules of Engagement. Das Scoping-Dokument, das vor dem Versand jedes Red-Team-Payloads unterzeichnet wird.

SBOM

Software Bill of Materials. Ein Abhängigkeits-Manifest.

UBO

Ultimate Beneficial Owner / wirtschaftlich Berechtigter. Die natürliche Person, die letztlich eine Einheit besitzt oder kontrolliert.

Fragen zur Methodik? elshan.musayev@partnerscope.eu · Markdown-Version: herunterladen.