Krebs gikk inn i Reichswehr i 1919 og ble i 1925 utnevnt til oberleutnant. Han tjenestegjorde ved et infanteriregiment i Braunschweig. Han stiftet familie på denne tiden og satset på en militær karriere, blant annet ved å ta utdannelse til generalstabsarbeid.