Langsdorff prese parte dal 27 marzo 1916 al primo conflitto mondiale con il grado di sottotenente nel 35º reggimento fucilieri del Brandeburgo. Pochi mesi dopo venne catturato dai francesi e internato fino al 12 giugno 1919. Dopo la guerra, prese parte al Putsch di Monaco nel novembre 1923. Il 1º giugno 1933 entrò nel Partito Nazionalsocialista dei Lavoratori tedesco e il 28 ottobre dello stesso anno nelle SS con il numero di matricola 185091. Nelle SS compì una rapida carriera che lo portò, dal 1934 al 1944, dal grado di caposquadra a quello di colonnello. Dal dicembre 1938 al febbraio 1944 egli venne aggregato allo Stato maggiore personale del Reichsführer-SS Heinrich Himmler, con compiti presso l'Ahnenerbe ("Società di ricerca dell'eredità ancestrale"). In questo periodo gli venne assegnato anche un posto ai musei statali di Berlino. Dal febbraio 1944 al 30 aprile 1945 fu il direttore del „Kunstschutz“ per l'Italia. Egli fu responsabile nell'estate 1944 del trafugamento e trasferimento di alcuni dei maggiori capolavori dell'arte rinascimentale italiana da Firenze in Alto Adige. Morì il 15 marzo 1946 nell'ospedale di Eutin in seguito ad una embolia polmonare.