安祥城
しかし、天文4年(1535年)に清康が家臣に殺され森山崩れが起こると、継嗣・広忠を一族の松平信定が岡崎城から追放し実権を握るが、翌天文6年(1536年)に信定が岡崎城を退去したため、広忠が再入城する(その後、信定は許される)。しかし、三河の諸豪族が相次いで離反し、一族からも謀反が起こるなど松平氏は弱体化した。
天文9年(1540年)、松平氏が弱体化したこの機に尾張国古渡城主・織田信秀が安祥城を攻撃し落城させ、城代に織田信広を置いた(第一次安城合戦)。また、信秀の攻撃は失敗したと言う異説もあり、その説によると天文13年(1544年)8月にもう一度織田敏宗に攻撃させるも失敗し、翌月、織田信秀が3度目の攻撃をして落城させたとされる(第二次安城合戦?)。
天文14年(1545年)、広忠は安祥城を奪還するために出陣する。家臣は勝機は無いとして攻撃の中止を進言するが、広忠は聞き入れず戦いを挑む。しかし、織田勢の挟撃に合い大敗、広忠の命も危うくなったが、本多忠豊をはじめとする家臣の奮戦によって岡崎に逃げることが出来た(忠豊は広忠の身代わりになって討ち死にした)。この戦いに敗北したことによって、松平氏の弱体化は、決定的なものとなる(上記の説が正しければ第三次安城合戦そうでなければ、第二次安城合戦)。
天文16年(1547年)、織田氏の討伐軍が侵攻し、それに耐えることが出来ないと考えた広忠は、やむなく今川氏に救援を求める。
これに対し、今川氏の当主・今川義元は人質として、竹千代(徳川家康)を引き渡すことを要求する。広忠はこれを受諾し、竹千代を駿府に送るが途中で戸田康光に拉致され尾張の織田氏に売られてしまう。しかし、これによって松平氏は今川氏の傘下に組み込まれることとなる。そして、天文18年(1549年)に広忠は病死する。
これに対する今川氏の対応はすばやく、同年3月に太原雪斎率いる約1万の軍勢で安祥城を攻め、落城寸前まで追い詰めるも城兵の奮戦によって失敗するが(第四次あるいは、第三次安城合戦)、同年11月8日(11月26日)から9日(11月27日)にかけて再び攻撃し落城させる(第四次あるいは、第五次安城合戦)。
『柳営秘鑑』の「巻ノ三」には、徳川家康の扇の御馬印は天文18年(1549年)の安祥城攻めの時に(討ち死にした本多忠高に由来するという)、その子の忠勝が継承し、文禄2年(1592年)に、家康の所望で馬印にしたとある。
このとき城代の織田信広を捕縛し、織田家に奪われた竹千代と人質交換をする。今川氏は攻略した安祥城に天野景泰、井伊直盛らを城番として置き、更に岡崎城にも城代を派遣して三河国を統治した。この後、今川義元が桶狭間の戦いで横死し、松平氏は独立し、織田氏との間に清洲同盟が締結されたことで安祥城の前線としての価値が薄れ、永禄5年(1562年)ごろ、廃城される。その後、小牧・長久手の戦いの時にも兵が置かれた。