Weathers spilte amerikansk fotball som defensive end i college. Han begynte sin karriere i 1966 ved Long Beach City College, hvor han ikke spilte i 1966 på grunn av en ankelskade han pådro seg da han snublet over en kant mens han løp runder under oppvarming sammen med en annen linebacker, Paul Snow. Han overførte til San Diego State University hvor han spilte for San Diego State Aztecs i 1968 og '69, under hovedtrener Don Coryell.