Sin embargo, el Conde de Toreno, entonces ministro de Fomento, motivado por la ideología de Madrazo cercana a las doctrinas liberales, republicanas y socialistas, le invalida la cátedra.