Mit dem Beginn des Zweiten Weltkrieges flogen Hs 126 bei den Aufkl.Gr 10, 11, 12, 13, 14, 21, 23, 31, 32 und 41; sie erwiesen sich beim Überfall auf Polen als robuste Nahaufklärer und Verbindungsflugzeuge, wurden aber auch zur direkten Luftunterstützung eingesetzt. Im Westfeldzug kam es erstmals zu größeren Verlusten, da die Hs 126 gegnerischen Jagdflugzeugen deutlich unterlegen war: 20 Flugzeuge gingen zwischen dem 10. und dem 21. Mai 1940 verloren. Inzwischen wurde bereits die Einführung der Focke-Wulf Fw 189 als Nachfolgemodell geplant, doch sollte es noch bis 1942 dauern, bis diese in hinreichender Zahl zur Verfügung stand. Nach dem Ende des Frankreichfeldzugs wurden Hs 126 von der 2./Aufklärungsgruppe (H)/14 in Libyen noch bis August 1942 geflogen. Vor allem nahmen 47 Staffeln Hs 126 am Angriff auf die Sowjetunion teil.