Лангсдорф родился 20 марта 1894 году на острове Рюген в Бергене. Он был старшим сыном в семье со строгими и религиозными традициями. В 1898 году семья переехала в Дюссельдорф, где они были соседями семьи графа Максимилиана фон Шпее, который стал немецким героем (поплатившись при этом своей жизнью и жизнью всей команды) в битве у Фолклендских островов в 1914 году. Под влиянием соседей, Лангсдорф поступил в Военно-морскую академию в Киле вопреки воле своих родителей в 1912 году.