С марта 1944 года был инспектором полиции безопасности и СД в Брауншвейге. С начала ноября 1944 и до весны 1945 года был руководителем управления VI C Главного управления имперской безопасности (РСХА) и стал последним руководителем Организации Цеппелин. В ходе сражения за Берлин Рапп вместе с другими сотрудниками РСХА под руководством Олендорфа Отта отправился во Фленсбург.