Hajos deltok under de første moderne olympiske lekene i Athen i 1896. Den 11. april tok han den første olympiske tittelen i svømming da han vant 100 meter fri stil med tiden 1.22,2. Han ble dermed Ungarns første olympiske mester. Senere på dagen vant han også 1200 meter fri stil. Han hadde også tenkt å delta på 500 meter fri men konkurransen begynte tett etter 100 meter fri og straks før 1200 meter fri.