Una vez extinguida la rama principal de la Casa de Portocarrero, el señorío pasó a ramas colaterales, ostentándolo sucesivamente los titulares del Condado de Montijo, del Ducado de Escalona, del Ducado de Frías y de nuevo los Condes de Montijo, y finalmente a la Casa de Alba, en la persona de Carlos María Fitz-James Stuart y Palafox, que fue el último señor de Moguer tras su abolición.