Sin embargo, Luis Alfonso rehusó ir a vivir con su madre a Francia, prefiriendo permanecer en Madrid con su abuela materna, Carmen Franco y Polo.