Før den profesjonelle karrieren spilte Waller på skolelagene for Laurel High School i Laurel i Delaware og University of Maryland. Han ble innlemmet i Delaware Sports Museum and Hall of Fame i 1977. Waller døde i Delaware den 16. desember 2018, 85 år gammel.