W lutym 1941 jego dywizjon został przerzucony na Sycylię, skąd dokonywał nalotów na Maltę i Grecję. Podczas jednego z takich nalotów Herrmann trafił pojedynczą bombą statek amunicyjny "SS Clan Fraser"; eksplozja, jaka wówczas nastąpiła, spowodowała zatonięcie 11 statków, a port w Pireusie uczyniła bezużytecznym na wiele miesięcy. Na początku 1942 został dowódcą 3. klucza w Kampfgeschwader 30 (III/KG 30) w Norwegii, z którym atakował konwoje alianckie, między innymi konwój PQ-17. Jako pilot bombowców Herrmann wykonał 320 lotów bojowych zatapiając 12 statków o pojemności 70 000 ton.