Cole creció bajo la adopción de su hermana mayor Carole "Cookie" (1944-2009) (su madre María era más joven que la hija de su hermana), adoptaría a su hermano con el nombre de Nat "Kelly" Cole (1959-1995) y sus hermanos mellizos más pequeños Timolin y Casey (nacidos en 1961).