La causa del destierro fue su vieja enemistad con Miguel Primo de Rivera y unas polémicas conferencias suyas pronunciadas en el Ateneo de Madrid, en 1923, acerca de las responsabilidades por la guerra de Marruecos y la implicación del dictador en el escandaloso caso de "La Caoba", una prostituta madrileña, tratante de drogas, a la que los jueces, presionados por Primo de Rivera, dejaron en libertad sin cargos.