A finales del siglo XVI, los Caumartin, poseedores del señoría de Saint-Port, quisieron construir un nuevo castillo porque la casa señorial feudal, construida en el siglo XIII, estaba en mal estado y mal situada.