Гюнше е роден в Йена. След като напуска средното си училище на 16 г., доброволно се занимава с 1-ва СС дивизия Лайбщандарт СС Адолф Хитлер и се присъединява към нацистката партия на 1 юли 1934 г. За първи път се среща с Адолф Хитлер през 1936 г. Той е адютант на Хитлер от 1940 до 1941 г. От 1 януари 1941 г. до 30 април 1942 г. посещава академията на офицерите на СС. На 12 януари 1943 г. Гюнше се превръща в личен адютант на Хитлер. От август 1943 до 5 февруари 1944 г. Гюнше се бие на Източния фронт и във Франция. През март 1944 г. отново е назначен за личен адютант на Хитлер. Също е член на "Führerbegleitkommando", който осигурява сигурността на Хитлер. По време на войната един или двама винаги са присъстващи с Хитлер по време на конференциите във военната ситуация. Той присъства на опита за покушение срещу Хитлер от 20 юли 1944 г. във Вълчата бърлога в Растенбург. Бомбеният взрив спуква тъпанчетата на Гюнше и го ранява.