天方城
天正7年(1579年)7月、家康の同盟者・織田信長に家康の正妻・築山殿と長男・松平信康が武田方に内通したとの報がもたらされた。この信憑性は非常に薄いものであったが、信長は家康にこの二人を処断するよう求めた。家康は悩んだ末まず築山殿を殺害、さらに9月15日、かねてから二俣城に幽閉させていた信康を切腹させた。このとき服部半蔵が介錯人を務め、天方通興の子、通綱が検分役であった。信康が切腹した際、服部正成が涙のあまり刀が振り下せず介錯できなかった為、通綱が代わりに介錯人をつとめた。このため主君である家康の長男の首を落としたという自責の念にかりたてられ高野山に登り仏門に入った。そしてその後に、越前松平秀康(結城秀康・家康二男)に仕え、越前天方氏の宗家となり、その子孫は明治まで松平氏に仕えた。
通興は、通綱が高野山に登った為、天方家の存続をはかるため、外孫の青山忠成の五男、通直を養子にした。
その後通興没後まもなく城は、廃城となった。また、通興の養子となった通直は幼稚のときより家康に奉仕して慶長19年(1614年)の大坂の陣に供奉している。慶長20年(1615年)の大坂の陣の際には、徳川秀忠に従い天王寺・岡山の戦いに戦功をあげている。後に御書院番に列し、元和6年(1620年)正月には御小姓組頭となり、さらに元和9年正月に、御書院の組頭に栄転し同年9月より江戸城西城に勤仕した。寛永2年(1625年)11月23日には、上総国武射、下総国葛飾、香取相模国高座四郡のうちにおいて2,250石の朱印状を給わる。そして、寛永3年従五位下備前守に就任さる。通直より4代後の通展のとき(享保17年(1732年)閏5月15日)に請て家号を青山に改めている。