University of Kentucky
Рэмзи вырос в городе Мадисонвилл (штат Кентукки), где учился в одноимённой школе, после окончания которой поступил в Кентуккийский университет, где был универсальным игроком, он успешно играл в бейсбол и баскетбол. Играя под руководством легендарного тренера Адольфа Раппа Рэмзи, как студент-второкурсник, в 1951 году помог своей команде «Кентукки Уайлдкэтс» выиграть чемпионат NCAA, одолев в финале команду университета штата Канзас «Канзас Стэйт Уайлдкэтс» со счётом 68—58.