Continuous Testing Report 2020: Die Branche ist noch auf dem Weg

Wie kann Qualitätssicherung (QA ) und Test bestmöglich mit allen Aktivitäten von Softwareentwicklung und -betrieb integriert werden und so eine zentrale Säule von modernen Vorgehensmodellen wie DevOps werden?

Dieser Frage geht der im März 2020 zum nunmehr zweiten Mal herausgegebene Continuous Testing Report nach.

Für den Report wurden hierzu insgesamt 500 IT-Entscheider und Experten aus Unternehmen und Organisationen in Nordamerika und Europa befragt. Dabei wird eine Vielzahl von Sektoren abgedeckt, von der Finanzbranche bis zum öffentlichen Dienst.

Hürden auf dem Weg zum Continuous Testing

Dabei zeigt sich, dass sich die überwiegende Mehrzahl von 78 % der Befragten noch nicht am Ziel eines funktionierenden Continous Testing angekommen sieht und sich demnach noch auf unterschiedlichen Stationen eines Transformationsprozesses bewegt.

Woran liegt das? Hierzu analysiert der Report entlang einer verallgemeinerten CI/CD-Pipeline die relevanten Aspekte von Continuous Testing und Continuous Quality.

Im Hinblick auf den Aspekt Shift Left, also die Integration von QA- und Testaktivitäten mit allen (Zwischen-)Aktivitäten des Software-Lifecycle zeigt sich zum Beispiel, dass der Anspruch wirklich kontinuierlich Testen zu können sehr stark davon abhängt, wie gut die betroffenen Aktivitäten automatisiert bzw. automatisierbar sind.

Hier zeigt sich insbesondere, dass viele der Befragten die Automatisierung z.B. der Testausführung von API- oder GUI-Tests nach wie vor als komplex, risikobehaftet und herausfordernd einschätzen. Als Folge hieraus wird auch die Fähigkeit, die relevanten Testaktivitäten innerhalb der Laufzeit eines agilen Sprints auch wirklich abschließen zu können als echte Herausforderung benannt.

Neben der automatisierten Ausführung fachlicher Tests sind hier auch die Tests auf nichtfachliche Qualität wie Performance, Security oder Wartbarkeit im Blick. Auch hier sehen die Befragten nach wie vor große Herausforderungen darin, diese Aktivitäten sinnvoll aus eigener Kraft in ihren Continuous Testing Ansatz zu integrieren.

Auch im Hinblick auf die hier Supporting Processes genannten Themen Testumgebungsmanagement, Testdatenmanagement und Service-Virtualisierung zeigt sich diese Wahrnehmung einer hohen technischen Komplexität der Testinfrastruktur, die eine Einführung von Continuous Testing verkompliziert, verlängert und verteuert. So geben 36% der Befragten an, mehr als 50% ihrer Zeit auf das Management von Testumgebungen aufzuwenden – das ist ein echtes Problem, stehen doch alle diese Aufwände dort nicht zur Verfügung, wo sie eigentlich gebraucht würden. Wer kennt nicht den berühmten Spruch „Sorry, we are too busy to improve“…

In den Antworten zeigen sich aber auch Good Practices, die offenbar bei vielen der Befragten zu Fortschritten und Verbesserungen führen: Im Testdatenmanagement sind dies unter anderem die automatisierte Generierung synthetischer Testdaten. Hier existieren mittlerweile Lösungen, die auf Basis von Machine-Learning die Charakteristika der „echten“ Daten lernen und im Anschluss an die Lernphase on demand vollständig synthetische Daten generieren, die dennoch so wirken, als seien sie Echtdaten, und zwar nicht nur beschränkt auf reine textuelle Daten, sondern auch bei Formaten wie Bilddaten.

Wer die Komplexität beherrscht, kommt dem Ziel näher

In Summe zeigt sich, dass die Erwartungen der Stakeholder an Continuous Testing hoch sind. Es wird viel davon erwartet, Test und QS in einem kontinuierlichen Ansatz in Continuous Delivery zu integrieren und damit hochagile, schnelle und qualitativ hochwertige Lieferzyklen zu ermöglichen. Umgekehrt zeigt sich aber auch, dass Anspruch und Realität hier ein ganzes Stück weit auseinanderklaffen. Auch im Vergleich der Continuous Testing Reports 2019 und 2020 stellt man fest, dass sich die wichtigen Kennzahlen nicht dramatisch bewegt haben.

Hier schlägt offenbar die beschriebene hohe technische und organisatorische Komplexität bei der Einführung von Continuous Testing zu – viele Organisationen haben schlicht (noch) nicht alle Fähigkeiten im Team, um die Vielzahl der Transformationsaufgaben erfolgreich neben dem Tagesgeschäft zu bewältigen.

Es bleibt also spannend, und die IT-Organisationen haben noch eine Menge Hausaufgaben zu erledigen. Gerade Themen rund um die Automation von Abläufen in Entwicklung, Test und Betrieb werden uns in den kommenden Monaten weiter beschäftigen.

Das positivste Signal, dass ich aus dem Report mitnehme, ist allerdings die Sicht, dass die Befragten mittlerweile in der Mehrzahl ganz selbstverständlich von Continuous Testing als etabliertem und erstrebenswertem Ziel sprechen – nur 9% sehen für sich hier keinen Bedarf. Die Wahrnehmung, dass auch ein Continuous Testing zu den Standard-Disziplinen in Agilität und DevOps gehört ist wichtig und richtig – so lassen sich gemeinsam arbeitende, hochperformante Teams aufbauen!