Lo fundó Catalina de Ribera y su construcción se inició en 1546 por orden de Fadrique Enríquez de Ribera, I marqués de Tarifa.