A mitjan el domini dels castells de Tamarit i Montoliu passà al baró Francesc de Vallgornera qui els vengué a l'arquebisbe de Tarragona Arnald Sescomes. En el fogatjament del 1365-1370, Tamarit, té 80 «"fochs"», quantitat alta després d'haver patit la Pesta Negra. S'atribueix a la important activitat econòmica del port. L'any 1363, el rei Pere III de Catalunya-Aragó ordenà emmurallar Tamarit degut a la guerra amb el rei de Castella. El 1382 el castlà era Guillem d'Argentona.