5 Schritte zum perfekten technischen Assessment für Developer

Technische Assessments für Software Engineers dürfen in keinem Einstellungsprozess fehlen. Bei der Konzeption ist auf einige Punkte zu achten. Am Anfang steht die Anforderungsanalyse, daraus werden pro Anforderung idealerweise drei Aufgaben abgeleitet und zu einem standardisierten Verfahren mit Lösungsankern verdichtet. So lässt sich fair und vorurteilslos die Spreu vom Weizen trennen – und das neue Teammitglied wird dich nicht enttäuschen!

Kurz-Test für dein Assessment

Ist dein Fach-Assessment qualitativ hochwertig? Prüfe dein Assessment mit folgenden Fragen. Je mehr Ja-Antworten, desto besser.

1. Weiss ich, was ich mit dieser Frage/Aufgabe herausfinden will?
2. Ist diese Thematik zentral für ein erfolgreiches Ausführen der Tätigkeit?
3. Ist die Beantwortung/Lösung ohne zusätzliches spezifisches Wissen möglich?
4. Ist die Frage/Aufgabe schriftlich formuliert?
5. Sind sehr gute, mittlere, schlechte Antworten/Lösungen für die Auswertung vordefiniert?*

Arten von technischen Assessments für Developer

Aus unserer Erfahrung sehen wir, dass drei Arten von technischen Assessments existieren, die je ihre eigenen Vor- und Nachteile haben.

Frage-Antwort am Whiteboard

• Unabhängig von Infrastruktur/IDE
• Kann bei guter Vorbereitung sehr aufschlussreich sein
• gut geeignet für konzeptionelle Aufgaben für sehr erfahrenen Personen
• nicht geeignet für Codier-Themen
• Verleitet zu schlechter Vorbereitung und somit geringer Aussagekraft
  –> abhängig von Kontext sehr gut bis zu vermeiden

Hausaufgabe

• sehr nahe am Arbeitsalltag
• gewohnte Arbeitsumgebung
• nicht stressauslösend
• ungleiche Rahmenbedingungen (Zeit, Hilfe)
• übermässige zeitliche Belastung
  –> eher zu vermeiden

Pair Programming

• sehr nahe am Arbeitsalltag
• löst (meist) weniger Stress aus (v.a. wenn eigener Rechner eingesetzt werden kann)
• Gefahr, nicht den Kern der Aufgabe zu erfassen
• Gefahr, Vorwissen anstelle genereller Programmierfähigkeiten zu prüfen (aktuelle Anwendung der Programmiersprache/IDE ist entscheidender als generelle Programmierfähigkeiten/Problemlösungskompetenz)
  –> Königsweg, wenn qualitativ hochwertig

Kernforderungen an ein technisches Assessment

Validität

Valide bedeutet relevant. Prüfst du die relevanten Anforderungen? Kannst du mit deinen Aufgaben/Fragen auf die zu prüfenden Anforderungen schliessen? Vermeide, dass du lediglich Fragen zu Themen stellst welche schnell erlernbar sind. Stelle sicher, dass kein Vorwissen notwendig ist, welches nicht zur geprüften Anforderung gehört. Ein Zeitlimit kann sinnvoll sein, jedoch darf es nicht zu eng sein. In diesem Fall würdest du primär die Arbeitsgeschwindigkeit prüfen.

Objektivität

Objektiv bedeutet, dass ein Assessment zum selben Resultat käme, wenn es durch eine andere Person durchgeführt würde. Das kann mit einer hohen Standardisierung erreicht werden, welche den Einfluss von Sympathie, Vorurteilen und Bewertungsfehlern reduziert. Formuliere daher die Aufgaben oder Fragen schriftlich und definiere schlechte, mittlere und gute Leistungen oder Antworten im Voraus.*

Reliabilität

Reliabel bedeutet, dass die Messfehler gering sind und so die Person bei einem erneuten Test dasselbe Resultat erzielen würde. Stelle daher mehrere Fragen oder Aufgaben, um eine Anforderungsdimension zu messen. Das reduziert den Faktor Zufall. Meist wird empfohlen, drei Fragen pro Anforderung zu stellen.

Candidate Experience

Candidate Experience bedeutet, dass der Einstell- und Auswahlprozess durch die Kandidatin oder den Kandidaten positiv wahrgenommen wird. Ein technisches Assessment darf und soll jedoch immer noch sein – allerdings eines, das gut ankommt. Dabei ist wichtig, dass das Assessment als professionell und fair wahrgenommen wird, keine übermässige zeitliche Belastung bedeutet und differenziertes Feedback abgegeben wird.

Best-Practice für die Konzeption von technischen Assessments

1. Schritt: Die Anforderungen erheben

Plane einen Workshop mit den Teamkollegen der gesuchten Person. Fragt euch, in welchen Situationen sich im Alltag ein sehr guter Entwickler von einem mittleren unterscheidet. Was muss man können, um diese Situationen erfolgreich zu meistern? Definiert daraus mehrere Anforderungen (z.B. Technologie 1, Methodik 1, Persönlichkeitsdimension 1 wie Problemlösungskompetenz etc.). Beschränkt euch auf maximal 6 Anforderungen. Definiert das Anforderungsniveau pro Anforderung auf einer fünfstufigen Skala.

2. Schritt: Drei Fragen/Aufgaben pro Anforderung

Erarbeitet drei Aufgaben/Fragen pro Anforderung, um den Zufall zu reduzieren (Reliabilität). Insbesondere bei Aufgaben können mehrere Anforderungen gleichzeitig geprüft werden (z.B. Kenntnis der Programmiersprache, Kenntnis der Entwicklungsumgebung, Lesbarkeit des Codes). Mehr als drei Anforderungen gleichzeitig einschätzen zu müssen, überfordert die Assessoren.

3. Schritt: Formulieren der Aufgaben/Fragen

Ausformulierte Fragen oder Aufgaben bringen die notwendige Objektivität. Ich habe positive Erfahrung damit gemacht, den Kandidaten die Fragen/Aufgaben schriftlich abzugeben und Ihnen eine gewisse Vorbereitungszeit einzuräumen. Die Objektivität wird erhöht und der Faktor Nervosität/Stressresistenz verfälscht die Ergebnisse weniger.

4. Schritt: Formulieren von Antworten/Lösungen

Formuliere je eine Antwort/Lösung für eine schlechte, mittlere und sehr gute Lösung*. Tu das schriftlich und im Voraus. Gleiche diese Antwortanker mit dem im ersten Schritt definierten Anforderungsniveau ab.

5. Schritt: Systematische Beurteilung

Während des Assessments sind bei mündlichen Fragen Notizen zwingend. Nach dem Assessment wird jede Aufgabe/Frage einzeln anhand der Notizen und vorformulierten Antwortanker bewertet und für jede Anforderung summiert. Erst jetzt tauschen sich die Assessoren aus und gelangen anhand der im ersten Schritt definierten Anforderungen zu einer Entscheidung. Die Trennung von Beobachtung und Beurteilung ist hier zentral.

Nun wirst du alle Fragen des Schnell-Tests zufriedenstellend beantworten können und einem effektiven Assessment steht nichts im Weg!

*Damit ist nicht eine exakte Lösungsvorgabe gemeint (3 + 3 = 6), sondern die Art der Lösung. Als Beispiel für eine sehr gute Antwort (Analysiert Problem umfassend, bezieht alle relevanten Faktoren in Lösung ein, Präsentation ist didaktisch überzeugend, Lösung überzeugt durch Kreativität, Lösung überzeugt durch Einfachheit, erwähnt Schwachpunkte der vorgestellten Lösung) im Vergleich zu einer ungenügenden Antwort (Lösung ist oberflächlich und beinhaltet einfache und offensichtliche Anforderungen nicht).

---