Palattuaan Saksaan hän jatkoi kilpailu-uraansa, ja osallistui Helsingin 1952 ja Melbournen 1956 olympialaisiin. Helsingissä hän sijoittui 12-ottelussa seitsemänneksi. Vuoden 1954 MM-kisoissa Roomassa hän saavutti hopeaa hypyssä ja rekillä sekä pronssia nojapuilla. Moniottelussa hän sijoittui kahdeksanneksi. Seuraavan vuoden 1955 EM-kisoissa Frankfurt am Mainissa hän saavutti kultaa nojapuilla, hopeaa hypyssä ja renkailla sekä pronssia 6-ottelussa. Olympiakultaa tuli hänelle lopulta Melbournen 1956 kisoissa, kun hän saavutti Neuvostoliiton Valentin Muratovin kanssa jaetun ykkössijan. Moniottelussa hän sijoittui venäläisten ja japanilaisten jälkeen kuudenneksi. Bantz osallistui vielä kolmansiin olympialaisiinsa Roomassa 1960 - tällä kertaa yhteissaksalaisen telinevoimistelujoukkueen varamiehenä.