Veldeman var en dyktig motorsykkelracer. Han ble blant annet estisk mester i speedway i 1934 og 1935, og vant et internasjonalt, estisk landeveisløp foran ca. 20 000 tilskuere i 1934 og 1938. Han satte flere estiske fartsrekorder, og ble kåret til Årets motorsykkelkjører i Estland i 1934, 1935 og 1938.