Stolze hadde vært gift med operasangeren Gerda Prochaska i sitt andre ekteskap siden 1977. Han døde i 1979 52 år gammel og ble gravlagt i Garmisch kirkegård i Garmisch-Partenkirchen.