Morris ble født i enten 1934 eller 1935 i Jacksonville i Florida. Han gikk på Stanton Preparatory School frem til rundt 1954. Morris begynte å studere på Florida Agricultural and Mechanical University hvor amerikansk fotballtreneren Hansel Tookes mente at han hadde «utrolige muligheter». I sitt andre år ble han utnevnt kampstarter, og avisen beskrev ham som et «bright prospect». I 1956 ble han inkludert på All-SIAC tredjelag.