Public procurement notice: Contract Notice
Published: 2024-06-03
Region: DE212
Contract type: Services
Procedure: Negotiated with prior call for competition
CPV classification: 71356000 | 72250000: System and support services | 72254000: Software testing | 72260000: Software-related services
Submission deadline: 2024-07-03
Award criteria: price, quality

Technical requirements: Gemäß § 123, 124 GWB, § 57, 42 Abs. 1 VgV und § 16 VOB/A
Im Projekt dabag geht es um die Entwicklung  eines Verfahrens zur bundeseinheitlichen datenbankbasierten Grundbuchführung, welches die Nutzbarkeit des Datenbestandes wesentlich verbessern soll, indem Grundbuchinhalte anstelle von Bild oder Fließtext als recherchierbare Einzelinformationen vorgehalten und die logischen Verknüpfungen zwischen den Eintragungsbestandteilen in einer Objektstruktur abgebildet werden (vollstrukturiertes Datenbankgrundbuch). Insbesondere für die Migration (Überführung der bisherigen Grundbuchdaten in die Vollstruktur) ist es erforderlich, eine weitgehend automatisierte Lösung zu entwickeln, welche die damit verbundenen Aufwände minimiert. Weiterhin wird auch eine Modernisierung der herkömmlichen Verfahren und damit das Erreichen eines europäischen Standards verfolgt, um im Hinblick auf die Entwicklung in Europa eine optimale Leistungsfähigkeit für Anwender und Nutzer des Systems sicherzustellen. Der europäische Standard setzt eine flexible Darstellung des Grundbuchinhalts voraus, die nur durch eine Datenhaltung in Vollstruktur erreicht werden kann.

Die Entwicklung der Software dabag hat bereits 2016 begonnen. Die Projektergebnisse blieben allerdings hinter den vereinbarten Leistungen und somit den Planungen zurück. Trotz Versuchen des Bayerischen Staatsministerium der Justiz, die bestehenden Defizite neu zu verhandeln, hat der bestehende Dienstleister im Januar 2022 den Vertrag außerordentlich gekündigt. Daraufhin wurden die bisherigen Konzeptions- und Entwicklungsergebnisse auf Systemen des Auftraggebers gesichert sowie die Dokumentationen zum Ist-Stand übergeben. Ende Juli 2023 wurde dann eine Abschlussvereinbarung mit dem bisherigen Entwicklungsdienstleister geschlossen.
Es sind nun zwei, zeitlich um wenige Wochen versetzte Vergabeverfahren geplant. Aufbauend auf dem bisherigen Entwicklungsstand soll ein externer Dienstleister „Konzeption und Entwicklung“ die Verantwortung für die Weiterentwicklung der Software dabag übernehmen. Die Weiterentwicklung der soll dabei zukünftig agil erfolgen. Der im Rahmen des hier ausgeschriebenen Verfahrens zu beauftragende externe Dienstleister „Test und Abnahme“ soll mit der Durchführung von Tests und der Qualitätssicherung im Hinblick auf die Leistungen des externen Dienstleisters „Konzeption und Entwicklung“ beauftragt werden (bitte beachten Sie hierzu die Bestimmungen zur Vermeidung von Interessenkonflikten unter Ziff. 3.1).

Das gegenständliche Verfahren für den Dienstleister „Test und Abnahme“ startet aus verfahrenstechnischen Gründen etwas früher als das Verfahren des Dienstleisters „Konzeption und Entwicklung“.
Die Unterstützungsleistungen bestehen insbesondere aus
a)	der Bereitstellung und dem Betrieb einer für die Durchführung von Tests geeigneten Testumgebung inkl. einer CI/CD-Pipeline,
b)	der Unterstützung beim Aufbau und Betrieb einer Abnahmetestumgebung beim Auftraggeber,
c)	der selbständigen Testplanung und -durchführung inklusive der Qualitätssicherung und dem Qualitätsmanagement,
d)	der Pilotierungsunterstützung,
e)	der Durchführung von Coaching-Maßnahmen und Workshops,
f)	der Dokumentationsunterstützung.

Der Abruf von qualifizierten Beratern zur Durchführung konkreter Aufgaben erfolgt in Form von Leistungsabrufen innerhalb des hier ausgeschriebenen Rahmenvertrags, der mit einem geeigneten und leistungsfähigen Testdienstleister geschlossen werden soll.
Alle Kriterien sind zu beantworten; Formulare müssen unverändert verwendet werden.
- Kriterien mit [A] müssen erfüllt / beantwortet werden,
- Kriterien mit [B] sind zu beantworten und werden einer Bewertung unterzogen,
1. statistische Angaben
2. Eigenerklärungen
3. Ausschlussgründe nach §§ 123, 124 GWB 
4. Angaben Wettbewerbsregister
5. Projektbezogene Eignungskriterien:
Wirtschaftliche und finanzielle Leistungsfähigkeit
K5.1: [A] Erklärung zum jährlichen Umsatz aus Projekten oder Aufträgen in den Bereichen Test und Abnahme im Sinne der Leistungsbeschreibung, bezogen auf die letzten drei abgeschlossenen Geschäftsjahre vor Ablauf der Teilnahmeantragsfrist.
Der durchschnittliche jährliche Mindestumsatz aus Projekten oder Aufträgen in den Bereichen Test und Abnahme im Sinne der Leistungsbeschreibung, bezogen auf die letzten drei abgeschlossenen Geschäftsjahre vor Ablauf der Teilnahmeantragsfrist beträgt mindestens 10 Mio. Euro.(Mindestanforderung)
(Bei Bewerbergemeinschaften genügt es, wenn ihre Mitglieder insgesamt den vorstehend geforderten Mindestumsatz erreichen.)
K5.2: [A] Erklärung zum jährlichen Gesamtumsatz des Unternehmens bezogen auf die letzten drei abgeschlossenen Geschäftsjahre vor Ablauf der Teilnahmeantragsfrist. Mindestanforderung: 50 Mio. Euro
K5.3: [A] Der Bewerber verpflichtet sich, auf Anforderung des Auftraggebers entsprechende Jahresabschlüsse der letzten drei abgeschlossenen Geschäftsjahre vor Ablauf der Teilnahmeantragsfrist einzureichen.

Technische und Berufliche Leistungsfähigkeit
K 6 [B] Vorlage von maximal 3 Referenzen nicht älter als 5 Jahre, aus denen die Erfahrung des Bewerbers mit der Bereitstellung und dem Betrieb einer im Sinne der Leistungsbeschreibung vergleichbaren Testumgebung in einem Softwareentwicklungsprojekt hervorgeht. Die Wertung erfolgt auf Basis der genannten Unterkriterien. 
Es zählen die Leistungen, die vom Bieter in diesem Zeitraum erbracht wurden.
Hinweis: Die angegebenen Punkte gelten pro Referenz. Es werden lediglich die maximal 3 vom Bieter benannten Referenzen gewertet. Die in den 3 Referenzen erzielten Punkte werden addiert. Bei mindestens 1 der bis zu 3 eingereichten Projektreferenzen war der Auftraggeber die öffentliche Verwaltung. 
K6.1:	3Punkte
Erfolgte die technische Konzeption dieser Testumgebung durch den Bewerber? 
K6.2:	3Punkte
Erfolgte die Bereitstellung / Aufbau dieser Testumgebung durch den Bewerber ?
K6.3:	5Punkte
Welche Wiederherstellungszeit (innerhalb der vereinbarten Servicezeit) wurde für diese Testumgebung vertraglich vereinbart?
K6.4:	5Punkte
Welche Verfügbarkeit (innerhalb der vereinbarten Servicezeit) wurde für diese Testumgebung vertraglich vereinbart?
K6.5:	3Punkte
Wurde durch den Bewerber ein Service Desk für diese Testumgebung bereit gestellt? 
K6.6:	10Punkte
Wie viele Nutzer haben auf dieser Testumgebung getestet ?
K6.7:	3Punkte
Wie erfolgte der Zugriff der Tester auf diese Testumgebung ?
K6.8:	2Punkte
War Java EE Application Server Bestandteil dieser Testumgebung ?
K6.9:	3Punkte
Wurde die Testumgebung auf einer virtualisierten Plattform bereitgestellt
K6.10:	3Punkte
Erfolgte ein Deployment von Containern in diese Testumgebung?
K6.11:	6Punkte
Kam in dieser Testumgebung eine Datenbank zum Einsatz?
K6.12:	3Punkte
Kam in dieser Testumgebung als Betriebssystem Red Hat Enterprise Linux  und Microsoft Server zum Einsatz ?
K6.13:	3Punkte
Haben Sie in diesem Projekt mit GIT als Versionskontrollsystem gearbeitet?
K6.14:	3Punkte
Haben Sie in diesem Projekt mit einem CI/CD-Server gearbeitet?
K6.15:	3Punkte
Haben Sie in diesem Projekt mit einem Java Build Managementsystem gearbeitet?
K6.16:	3Punkte
Haben Sie in diesem Projekt mit einem Artifact Repository Server gearbeitet?
K6.17:	3Punkte
Haben Sie in diesem Projekt das Container Management mit Kubernetes durchgeführt?
K6.18:	3Punkte
Haben Sie in diesem Projekt das Applications Monitoring durchgeführt?
K6.19:	3Punkte
Haben Sie in diesem Projekt das Datenbankschema Management mit Liquibase durchgeführt?
K6.20:	10Punkte
Waren Sie selbst (nicht ein potenzieller Unterauftragnehmer) in diesem Projekt verantwortlich für die Konzeption, den technischen Aufbau und den Betrieb einer Plattform, auf der CI/CD-Pipeline(s) betrieben wurden (bspw. Gitlab, Jenkins, Azure-DevOps etc.)? 
K6.21:	10Punkte
Hat der Bewerber in diesem Projekt (eine) CI/CD-Pipeline(s) zum Build und Deployment von Applikationen erstellt? Falls ja, mit welchem/n Tool/s?
K7 [B] Vorlage von maximal 3 Referenzen, nicht älter als 5 Jahre, aus denen die Erfahrung des Bewerbers mit dem Testmanagement im Sinne der Leistungsbeschreibung in einem agil geführten Softwareentwicklungsprojekt hervorgeht. Der Bewerber hat mit dem Referenzprojekt seine Verantwortung für das Testmanagement nachzuweisen. Die Wertung erfolgt auf Basis der genannten Unterkriterien. Es werden lediglich die maximal 3 vom Bieter benannten Referenzen gewertet. Die in den 3 Referenzen erzielten Punkte werden addiert.
Bei mindestens 1 der bis zu 3 eingereichten Projektreferenzen war der Auftraggeber die öffentliche Verwaltung. 
K7.1:	5Punkte
Zahl der Personentage in diesem Projekt, die für die Durchführung des Testmanagements durch die Testmanager des Bewerbers selbst erbracht wurden.
K7.2:	5Punkte
Welche Tools für das Testmanagement hat der Bewerber in diesem Projekt eingesetzt?
K7.3	5Punkte
Kam eine Toolkette (Anforderungsmanagement - Testmanagement - Problemmanagement) zum Einsatz?
K7.4:	10Punkte
Wie viele Tester und Test-Analysten wurden von den Testmanagern des Bewerbers in diesem Projekt geführt ? 
K8 [B] Vorlage von maximal 3 Referenzen, aus denen die Erfahrung des Bewerbers mit der Durchführung von Tests im Sinne der Leistungsbeschreibung in einem agil geführten Softwareentwicklungsprojekt hervorgeht. Die Wertung erfolgt auf Basis der genannten Unterkriterien.
K8.1[B]5Punkte
Zahl der Personentage in diesem Projekt, die für die Durchführung von Tests durch die Tester bzw. Test-Analysten des Bewerbers selbst erbracht wurden.
K8.2[B]3Punkte
Hat der Bewerber in diesem Projekt selbst Integrationstests (bspw. Tests der Integration von Umsystemen mit dem Zielsystem oder Ende-zu-Ende-Tests) durchgeführt?
K8.3[B]3Punkte
Hat der Bewerber in diesem Projekt selbst Performance- und Lasttests durchgeführt ?
K8.4[B]10Punkte
Aufwand für die Vorbereitung und Durchführung von Performance und Last-Tests. 
K8.5[B]3Punkte
Hat der Bewerber in diesem Projekt selbst IT-Sicherheitstests durchgeführt ?
K8.6[B]10Punkte
Aufwand für die Vorbereitung und Durchführung von IT-Sicherheitstests. 
K8.7[B]3Punkte
Hat der Bewerber in diesem Projekt selbst Nutzerakzeptanztest konzipiert und durchgeführt?
K8.8[B]15Punkte
Wie hoch war der Automatisierungsgrad bei den vom Bewerber in diesem Projekt selbst durchgeführten Tests, d.h. wie viel Prozent der Testfälle liefen automatisiert ab? 
K8.9[B]5Punkte
Wie hoch war die fachliche Testabdeckung der vom Bewerber selbst durchgeführten Tests in Prozent in Bezug auf alle Anforderungen in diesem Projekt ?
K8.10[B]3Punkte
Wurden vom Bewerber statische Code Analysen in diesem Projekt selbst durchgeführt ?
K8.11[B]3Punkte
Wurden UI-Tests mit einschlägigen Testwerkzeugen in diesem Projekt automatisiert vom Bewerber selbst durchgeführt? Falls ja, mit welchem/n Tool/s?
K8.12[B]3Punkte
Wurden in diesem Projekt durch den Bewerber selbst SOAP- oder REST-basierte Web-Services mit automatisierten Tests getestet? 
K8.13[B]5Punkte
Waren in diesem Projekt vom Bewerber selbst service-orientierte Applikationen zu testen? 
K8.14[B]3Punkte
Hat der Bewerber in diesem Projekt Tests im Rahmen der Testquadranten Q2 mit Test-Framework(s) selbst durchgeführt? Falls ja, geben Sie bitte an, welche Test-Frameworks für welche Testzwecke eingesetzt wurden.
K8.15[B]15Punkte
Anzahl von Geschäftsprozessen im Projekt. Bitte listen Sie in der Referenzbeschreibung die Geschäftsprozesse auf, ggf. mit einer Kurzbeschreibung.
K8.16[B]10Punkte
Durchschnittliche Anzahl von Geschäftsprozesstests pro Geschäftsprozess im Projekt. Es zählen ausschließlich die für die Vorbereitung und Durchführung dieser Tests die vom Bewerber selbst durchgeführten Geschäftsprozesstests.
K8.17[B]15Punkte
Anzahl von zu testenden Schnittstellen zu Umsystemen im Projekt. Je Umsystem wird nur 1 Schnittstelle gezählt. Es zählen ausschließlich die für die Vorbereitung und Durchführung dieser Tests die vom Bewerber selbst erbrachten Tests.
K9.1[A]Es sind durchschnittlich mindestens 100 fest angestellte Mitarbeiter des Bewerbers in den vergangenen drei Kalenderjahren (2021, 2022 und 2023) in agilen Softwareentwicklungsprojekten in den Bereichen Test und Abnahme als Tester, Test-Analysten oder Testmanager im Sinne der Leistungsbeschreibung tätig gewesen.
K9.2[B]15Punkte
Erklärung zur durchschnittlichen Anzahl an fest angestellten Mitarbeitern des Bewerbers, die in den vergangenen drei Kalenderjahren (2021, 2022 und 2023) in agilen Softwareentwicklungsprojekten als Testmanager im Sinne der Leistungsbeschreibung tätig waren.
K9.3[B]20Punkte
Erklärung zur durchschnittlichen Anzahl an fest angestellten Mitarbeitern des Bewerbers, die in den vergangenen drei Kalenderjahren (2021, 2022 und 2023) in agilen Softwareentwicklungsprojekten als Testanalysten im Sinne der Leistungsbeschreibung tätig waren.
K9.4[B]20Punkte
Erklärung zur durchschnittlichen Anzahl an fest angestellten Mitarbeitern des Bewerbers/der Bewerbergemeinschaft, die in den vergangenen drei Kalenderjahren (2021, 2022 und 2023) in agilen Softwareentwicklungsprojekten als Tester im Sinne der Leistungsbeschreibung tätig waren.
K9.5[B]5Punkte
Anzahl an fest angestellten Mitarbeitern des Bewerbers/der Bewerbergemeinschaft, die zum Zeitpunkt der Abgabe des Teilnahmeantrags über folgende ISTQB-Advanced Level Zertifizierung verfügen:
- CTAL-TM
K9.6[B]5Punkte
Anzahl an fest angestellten Mitarbeitern des Bewerbers/der Bewerbergemeinschaft, die zum Zeitpunkt der Abgabe des Teilnahmeantrags über folgende ISTQB-Advanced Level Zertifizierung verfügen:
- CT-TAE
K9.7[B]10Punkte
Anzahl an fest angestellten Mitarbeitern des Bewerbers/der Bewerbergemeinschaft, die zum Zeitpunkt der Abgabe des Teilnahmeantrags über folgende ISTQB-Advanced Level Zertifizierung verfügen:
- CTAL-TA
K9.8[B]5Punkte
Anzahl an fest angestellten Mitarbeitern des Bewerbers/der Bewerbergemeinschaft, die zum Zeitpunkt der Abgabe des Teilnahmeantrags über eine der folgenden ISTQB-Advanced Level Zertifizierungen verfügen:
- CTAL-ATT
- CT-ATLaS
K9.9[B]10Punkte
Anzahl an fest angestellten Mitarbeitern des Bewerbers/der Bewerbergemeinschaft, die zum Zeitpunkt der Abgabe des Teilnahmeantrags über eine der folgenden ISTQB Expert Level Zertifizierungen verfügen:
- CTEL-TM-MTT
- CTEL-ITP-ATP
- CTEL-TM-SM
- CTEL-TM-OTM
- CTEL-TM-MTT 
K9.10[B]3Punkte
Anzahl an fest angestellten Mitarbeitern des Bewerbers/der Bewerbergemeinschaft, die zum Zeitpunkt der Abgabe des Teilnahmeantrags über eine der nachfolgend genannten ISTQB Specialist Zertifizierungen verfügen:
- CT-UT
- CT-AcT
K9.11[B]3Punkte
Anzahl an fest angestellten Mitarbeitern des Bewerbers/der Bewerbergemeinschaft, die zum Zeitpunkt der Abgabe des Teilnahmeantrags über folgende ISTQB Specialist Zertifizierung verfügen: 
- CT-PT: Certified Tester Performance Testing
K9.12[B]3Punkte
Anzahl an fest angestellten Mitarbeitern des Bewerbers/der Bewerbergemeinschaft, die zum Zeitpunkt der Abgabe des Teilnahmeantrags über die nachfolgend genannte ISTQB Specialist Zertifizierungen verfügen:
- CT-SEC
Gemäß § 56 Abs. 2 VgV, § 51 Abs. 2 SektVO,  § 16a Abs. 1 VOB/A-EU. Mögliche Hinweise des Auftraggebers in den Vergabeunterlagen sind zu beachten.


Winner: Datenservice Öffentlicher Einkauf (in Verantwortung des Beschaffungsamts des BMI)