Charles Aaron «Bubba» Smith ble født 28. februar 1945 i Beaumont, Texas, der moren var skolelærer og faren var på den videregående skolen. Smith ønsket egentlig å spille for University of Texas, men på grunn av raseskille i Texas reiste han til Michigan der han fikk stipend for å studere. Han avsluttet studiet i 1967 med bachelorgrad i sosiologi.