Gustmann ble olympisk mester i roing under OL 1936 i Berlin. Han var med på den tyske toeren som vant toer med styrmann foran Italia og Frankrike sammen med roeren Herbert Adamski og Dieter Arend som var styrmann.