Langsdorff telah dilahirkan pada 20 Mac 1894 di Bergen di pulau Rügen. Beliau merupakan anak sulung dari keluarga yang bertradisikan undang-undang dan agama bukannya bertradisikan tentera laut. Pada tahun 1898, keluarga ini berpindah ke Düsseldorf, dimana mereka adalah jiran kepada keluarga Graf (Count) Maximilian von Spee, yang kelak menjadi wira tentera laut Jerman (turut meragut nyawanya) dalam Pertempuran Falkland Islands pada tahun 1914. Dipengaruhi oleh jirannya yang dihormati, Langsdorff memasuki Akademi Tentera Laut Kiel pada tahun 1912 lantas melawan kehendak ibubapanya. Semasa Perang Dunia I, Leftenan Langsdorff menerima pingat Iron Cross Kelas Ke-2 dalam Pertempuran Jutland pada 1916, dan kemudiannya bertugas di atas kapal penyapu ranjau sehingga perang berakhir. Beliau menerima Iron Cross Kelas 1 pada penghujung perang tetapi tarikh sebenar tidak diketahui.