En 1954, él y Ascari se unieron al nuevo equipo Lancia pero la muerte de Ascari en la primavera del siguiente año afectó de tal forma a Villoresi que su carrera declinó.