En 1718 el conde de Darnius reedificó la antigua masía de la Torre Tabernera, al pie del castillo, que se convertiría en adelante en residencia de los señores del castillo de Montornés, los cuales, al final del siglo XVII eran los Fiveller, que heredaron también el título de condes de Darnius, y en el siglo XIX lo eran los Martorell.