Weiß si arruolò nel "Reichswehr" nel 1931 e fu promosso tenente nel 1934. Nel novembre 1938, fu assegnato all'"Heerespersonalamt" presso l'"Oberkommando des Heeres" e nel 1940 fu promosso capitano. Nel 1941 fu trasferito nella "1. Panzer-Division" come aiutante. Dall'aprile 1942 prestò servizio nell'"Allgemeines Heeresamt" come ufficiale motorizzato e a giugno fu promosso maggiore. Il 2 ottobre fu nominato aiutante personale del comandante dell'"Heerespersonalamt," prestando servizio sotto il comando del generale Rudolf Schmundt. Il 1 aprile 1944 Weiß fu promosso tenente colonnello. Il 20 luglio 1944 Schmundt fu ferito gravemente nell'attentato a Hitler, pertanto fu rimpiazzato dal suo vice Wilhelm Burgdorf. Burgdorf divenne ufficialmente comandante dell"'Heerespersonalamt" alla morte del suo predecessore, avvenuta il 1 ottobre 1944.