Otto Schwerdt startet i 1936 sin militære karriere som artillerist og ble i 1938 hjemsendt som underoffiser. Han meldte seg til Waffen SS etter å ha blitt gjeninnkalt i 1939 ved 2. verdenskrigs utbrudd. I 1943 tilgikk han SS-Sonderverband z. b. V. Friedenthal, som var ledet av Otto Skorzeny. SS-Untersturmführer Schwerdt var nestkommanderende under Skorzeny ved aksjonen 12. september 1943 for befrielsen av Mussolini (på et foto tatt på Gran Sasso står Schwerdt ved Mussolinis venstre skulder, Skorzeny ved høyre). For aksjonen ble han den 15. september tildelt , som ble overrakt ved en stor seremoni den 3. oktober 1943 i Berliner Sportpalast.