La Casa del Infantado ha pasado por diversas etapas, afectándole mucho la unión y posterior separación del ducado de Osuna.