К началу Второй мировой войны Герберт-Эрнст Фаль стал обер-лейтенантом, и командовал 65-м танковым батальоном 6-й танковой дивизии. На этой должности он принимал участие в Польской кампании. За боевые отличия награждён Железным крестом 1-го и 2-го класса. С мая 1940 года он командовал 101-м танковым батальоном, который представлял собой особое подразделение, в состав которого входили только огнемётные танки. С этим батальоном Герберт участвовал во Французской и Балканской кампаниях, а также во вторжении в Советский Союз. С июля 1941 года Фаль командовал 29-м танковым полком 12-й танковой дивизии. В это время он был награждён Немецким крестом в золоте и знаком «За танковую атаку».