در تابستان ۱۹۴۴ به جبهه غربی فرستاده شد. وی در جریان نبرد نرماندی سعی داشت تا با شکستن خطوط دشمن، واحدهای آلمانی ارتش هفتم را از محاصره خارج کنند. اما عملیات او شکست خورد. سپس به هلند فرستاده شد و در آن‌جا در تلاش برای ناموفق گذاردن متفقین در عملیات مارکت گاردن شرکت داشت. پس از شکست عملیات مارکت گاردن به آلزاس فرستاده شد. پس از شکست در دفاع از آلزاس در دسامبر ۱۹۴۴ و ژانویه ۱۹۴۵ به جبهه شرقی فرستاده شد و در پومرانی و براندنبورگ جنگید. پس از آن به گروه ارتش مرکز فرستاده شد و به او دستور داده شد تا به ضدحمله علیه نیروهای ایوان کونف دست بزند. هارمل امتناع کرد و توسط فردیناند شورنر کنار گذاشته شد. وی در پایان جنگ فرماندهی گروهی از افسران مدرسه افسران اس‌اس در گراتس و چند واحد کوچک دیگر را بر عهده داشت. وی در نهایت در اتریش تسلیم ارتش بریتانیا شد.