Индианский университет в Блумингтоне
После окончания школы Олфорд поступил в Индианский университет в Блумингтоне, где его тренером был знаменитый Боб Найт. С первого же года обучения Олфорд стал ведущим игроком университетской баскетбольной команды «Хузирс» и хорошо овладел броском в прыжке. Летом 1984 года возглавивший мужскую олимпийскую сборную США Найт пригласил только закончившего первый курс Олфорда в команду, где его партнёрами были Майкл Джордан, Патрик Юинг, Крис Маллин и другие высококлассные игроки. На Олимпийских играх Стив неплохо проявил себя, реализуя 64 процента бросков с игры и набирая в среднем по 10,2 очка, чем внёс немалый вклад в победу американской сборной в турнире.