La Casa del Infantado ha pasado por diversas etapas, afectándole mucho la unión y posterior separación del Ducado de Osuna.