Simpson nació en San Francisco, hijo de Eunice Durden (23 de octubre de 1921 - 9 de noviembre de 2001), una administradora de hospital, y Jimmy Lee Simpson (29 de enero de 1920 – 9 de junio de 1976), chef y guardia bancario.