Gärderuds første store mesterskap var OL 1968 i Mexico by, der han ble slått ut i forsøksheatene på 800 og 1500 meter. I de følgende årene konsentrerte Gärderud seg om 3000 m hinder, og var blant de største favorittene foran OL 1972 i München. Han var imidlertid plaget av en forkjølelse, og ble igjen slått ut i forsøket. Det samme skjedde på 5000 meter, men bare en uke senere satte han ny verdensrekord på 3000 meter hinder med tiden 8.20,8.