Langsdorff ble født i Bergen på øya Rügen i 1894 som eldste sønn i en familie med juridiske og religiøse yrkestradisjoner, snarere enn sjømilitære. I 1898 flyttet familien til Düsseldorf hvor de ble naboer til familien til grev Maximilian von Spee, en kjent tysk sjøoffiser. Inspirert av sin berømte nabo begynte Hans Langsdorff, mot sin families vilje, ved den tyske sjøkrigsskolen i Kiel i 1912. Under første verdenskrig tjenestegjorde Langsdorff som løytnant og mottok jernkorset av andre klasse for sin innsats under Jyllandsslaget. Resten av krigen tjenestegjorde han på minesveiper og mottok jernkorset av første klasse.