多賀谷氏は大規模な城の改築を行ったものの、江戸幕府の一国一城令により、1620年(元和6年)、檜山城は廃城となった。