Voss ble født i Angermünde, Brandenburg den 30. oktober 1897. Han ble uteksaminert fra det tyske marineakademi i 1917. Han tjenestegjorde i Reichsmarine og senere i Kriegsmarine. I 1942 ble han sjef for den tunge krysseren «Prinz Eugen», hvor han møtte Joseph Goebbels, den gang , da Goebbels ledsaget journalister på en omvisning på skipet. Som et resultat av dette møtet, sørget Goebbels for å få Voss utnevnt til marinens forbindelsesoffiser ved Hitlers hovedkvarter i mars 1943.