永禄3年（1560年）最上義守・義光に攻められるが撃退する。最上氏の拡張戦略はこの敗北で一時頓挫することになる。しかし、天正2年（1574年）最上氏の内訌である天正最上の乱に巻き込まれた寒河江氏は、天童氏・白鳥氏・蔵増氏・野辺沢氏、さらには同族の白岩氏・溝延氏・左沢氏により攻められ、本丸を残して攻め崩されてしまう。天正12年（1584年）寒河江氏が最上氏によって滅ぼされると当初義光の直轄地であったが、文禄年間（1592年～1596年）嫡男最上義康に与えられた。慶長5年（1600年）の慶長出羽合戦では城主義康が伊達氏への救援要請や米沢からの上杉軍主力との対決のため留守にし、長崎中山氏が守るが庄内上杉軍によって攻め落とされる（『上泉泰綱九月十八日書状』）。一方、直江兼続別働隊が白鷹から八沼城を落とし左沢に進出した後、山野辺で本隊と合流している。9月29日関が原の敗報に触れた本隊は10月1日撤退を開始し、寒河江城の庄内勢も引き上げた（『最上義光十月朔日書状』）。その後慶長7年（1602年）頃から弟家親が城主となり、慶長14年～15年（1609年～1610年）頃家親が山形城に移ると、旧寒河江氏家臣の寒河江肥前が2万7,000石で在城した。慶長19年（1614年）最上義光が病死し寒河江肥前が殉死すると最上氏蔵入り地となった（この後寒河江肥前は南館（山形市）7,000石となる（殉死した寒河江肥前の息子か））。元和8年（1622年）に最上氏が改易になると鳥居氏の預かりとなるが元和9年（1623年）から翌寛永元年（1624年）にかけて本丸を残して堀を埋め、土塁を崩した。享保8年（1723年）の古地図（『寒河江本郷六ヶ村絵図』）には本丸の堀や土塁が描かれていることを確認することができる。