I 1923 møtte han Ruth Hager og de giftet seg i mars 1924, sønnen Johann ble født 14. desember samme år. I oktober 1925 ble han postert ved forsvarsministeriet i Berlin for å koordinere forbindelsene mellom marinen og hæren. I 1927 ble Langsdorff beordret som sjef for en torpedobåtflotilje og i april 1930 ble han utnevnt til orlogskaptein. I 1931 ble han igjen beordret til Berlin da hans administrative kapasitet var vel kjent og verdsatt. Ved den nasjonalsosialistiske maktovertakelsen søkte Langsdorff igjen om sjøtjeneste, men ble i stedet beordret til innenriksministeriet. I 1935 ble han utnevnt til kommandørkaptein.