Im Zweiten Weltkrieg lehnte Ayres einen Kriegseinsatz für die USA ab, weil er insbesondere durch seine Arbeit an "Im Westen nichts Neues" zum Pazifisten geworden war. Es entstand öffentliche Kritik am „berühmtesten Kriegsdienstverweigerer des Landes“ und MGM entließ ihn deshalb sogar aus ihrem Vertrag. Sein Ruf war erst wiederhergestellt, als die Öffentlichkeit erfuhr, dass er als Sanitäter für die US Army Medical Corps in Neuguinea und auf den Philippinen gearbeitet hatte. Er war unter anderem bei der Evakuierung in der Schlacht um Leyte gegenwärtig. Nach dem Krieg nahm Ayres seine Filmkarriere wieder auf und spielte unter anderem eine Hauptrolle neben Olivia de Havilland in Robert Siodmaks Thriller "Der schwarze Spiegel" (1946).