Stumme ble født 29. juli 1886 i Halberstadt. Som 19-åring vervet han seg som en offiserskadett. Han ble del av , og ble forfremmet til løytnant i 1907.