Busey nació en Goose Creek (ahora Baytown), Texas, hijo de Virginia Arnett, ama de casa, y Delmer Lloyd Busey, gerente de construcción de diseño.