הרמל לחם עם רגימנט "דר פיהרר" במהלך המערכה על צרפת, המערכה בבלקן ומבצע ברברוסה, ובדצמבר 1941 מונה למפקד גדוד ברגימנט "דויטשלנד". ב-15 במרץ 1943 השתתף הרמל בקרב חרקוב השלישי, וב-31 במרץ קיבל על פעולותיו את עיטור צלב האבירים של צלב הברזל. ב-7 בספטמבר 1943 קיבל הרמל תוספת עלי אלון לעיטור צלב האבירים של צלב הברזל, וב-27 באפריל 1944 מונה למפקד דיוויזיית האס אס ה-10.