Von 1939 bis 1940 leistete er Kriegsdienst, war dann zivilberuflich für die Reichsgesellschaft für Landbeschaffung tätig und wurde 1942 wieder als Leutnant der Reserve zur Fahrtruppe eingezogen. Nachdem sein Bruder Josef, der von den Widerstandskämpfern des 20. Juli als Reichsjustizminister vorgesehen war, vom Volksgerichtshof unter Roland Freisler am 8. September 1944 zum Tode verurteilt worden war, wurde auch Ernst Wirmer festgenommen und ab November 1944 in der an den Bodensee verlegten "Wehrmachtshaftanstalt Küstrin" inhaftiert, in der auch Generalleutnant Hans Speidel zeitgleich interniert war.