Hess ble olympisk mester i turn under OL 1904 i St. Louis. Han var med på laget til turnforeningen som vant konkurransen i mangekamp. De andre turnerne på gull-laget var John Grieb, Anton Heida, Philipp Kassel, Julius Lenhart og Ernst Reckeweg.