Sempre nel 1956 fu tra i firmatari del Manifesto dei 101, sottoscritto da intellettuali dissenzienti verso l'appoggio dato dal partito all'invasione sovietica dell'Ungheria. Insieme a molti dei firmatari del manifesto, De Felice lasciò il PCI, iscrivendosi al Partito Socialista Italiano. In seguito preferì rinunciare a ogni militanza politica e lasciò anche il PSI. L'uscita dal partito costò a De Felice alcuni anni di isolamento, che durarono sino agli incontri con la futura moglie Livia De Ruggiero, figlia del filosofo liberale Guido De Ruggiero scomparso nel 1948, e con il sacerdote e studioso cattolico don Giuseppe De Luca.