Op 1 augustus 1935 werd Wiese als "Major" in de Wehrmacht opgenomen. Na een functie gehad te hebben bij het 69e Infanterieregiment, werd hij tot commandant van het 1e Bataljon van het 116e Infanterieregiment in Gießen benoemd. Als zodanig werd hij op 6 januari 1938 bevorderd tot "Oberstleutnant". Met zijn bataljon verhuisde hij toen bij het uitbreken van de Tweede Wereldoorlog in de zomer van 1939 naar posities in het westen, voordat hij deel nam aan de slag om Frankrijk. Op 10 december 1940 nam Wiese het commando van de 39e Infanterieregiment over. Op 1 juni 1941 werd hij bevorderd tot "Oberst". Aan het einde van de lente van 1941 werd zijn regiment naar het oosten overgeplaatst. Aan het begin van operatie Barbarossa viel hij met zijn regiment centraal-Rusland aan. Na de opmarsen van 1941, vocht het regiment in de winter van 1941/42 in de posities bij Rzjev. Vanwege zijn verdiensten werd hij op 14 april 1942 met het Ridderkruis van het IJzeren Kruis onderscheiden. Op 15 april 1942 werd hij met het commando van het 26e Infanteriedivisie belast. Op 1 september 1942 werd Wiese bevorderd tot "Generalmajor". Daarmee werd hij ook tot commandant van het 26e Infanteriedivisie benoemd. Op 1 januari 1943 werd hij bevorderd tot "Generalleutnant". Op 5 augustus 1943 droeg hij het commando van de divisie weer over, en werd met leiding van het 35e Legerkorps belast. Op 1 oktober 1943 werd hij bevorderd tot "General der Infanterie". Daardoor werd hij ook tot "Kommandierender General" van het 35e Legerkorps benoemd.