Weiss telah dilahirkan di Tilsit, Prusia Timur dan menyertai Tentera Darat pada 19 Mac 1908. Pada permulaan Perang Dunia 2, semasa kempen Poland, beliau diberi memerintah Kor I, menyandang jawatan ketua staf am pada 1 September. Pada 15 Disember 1940 beliau mengambil alih pemerintahan Divisyen Ringan Ke-97, dan pada 15 Januari 1941 memerintah Divisyen Ke-26 Infantri. Divisyen ini adalah subordinat kepada Kumpulan Tentera Darat Tengah dan terlibat dalam Operasi Barbarossa. Weiss mengambil alih pemerintahan Kor XXVII pada 1 Julai 1942. Weiss memimpin Tentera Darat Ke-2 di Barisan Timur dari 3 Februari 1943 ke atas. Beliau menerima pemerintahan Kumpulan Tentera Darat Utara pada 12 Mac 1945, bersamanya beliau menyerahkalah kepada tentera Amerika.