26 липня 1935 року Карл Ротенбург повернувся до збройних сил у ранзі майора та 1 серпня 1936 очолив 2-й танковий батальйон 6-го танкового полку Вермахту. 1 квітня 1938 року присвоєне звання оберст-лейтенант. Командуючи батальйоном він узяв участь в аншлюсі Австрії та захопленні Судетів.