La sede de la familia fue el castillo de Montmorency, ubicado en la villa de este nombre, la que desde la alta Edad Media ya constituía un Prebostazgo y una Castellanía.