След Северна Африка е прехвърлен в южна Италия. Повишен е до ранг оберстлейтенант и получава назначение в щаба на 14-и танков корпус, командван от генерал Ханс Валентин Хубе. През октомври 1943 г. получава командването и на 26-и танков полк от 26-а танкова дивизия, които водят боеве в района на Салерно и Казино. На 30 януари полкът на Кюмел става част от формациите, които имат за цел да унищожат противниковите плацдарми в района на Анцио-Нетуно. Операцията е неуспешна и втора е запланувана за 27 февруари 1944 г. Кюмел не успява да участва в нея след като загива при катастрофа близо до Кистерна. На 20 май 1944 г. получава посмъртно ранг оберст. На 7 април 1943 г. в негова чест е издигната паметна плоча в родния му град Бьоблинген.