大胡城
大胡氏
横瀬氏(このほか前述の様に益田氏・上泉氏にも城主説がある。)
北条高広
大胡高繁
牧野康成
牧野忠成
しかし大胡氏の一族はなお当地方に残っていた模様で、永禄年間、上杉謙信に従う者を書き連ねた「関東幕注文」には大胡氏の名前が見える。しかし大胡氏に大胡城を維持するだけの実力はなく、新田金山城主横瀬国繁方となった大胡城には、配下の益田氏(大胡氏と同じ秀郷系藤原氏と伝)が居城したという。益田氏系図略記および益田氏菩提寺の縁起(『大胡町誌』収録)によれば、益田行綱が大胡城を築城し、行茂(嘉吉元年戦死)、修茂(享徳年間に横瀬国繁に属す)と続いたが、4代目の茂政のとき大胡城が落城し新田へ移住、横瀬景繁の娘を娶り続いたとある。大胡一族の上泉氏の家伝や上泉氏子孫の上泉信綱関連の書物によれば、信綱や上泉氏一族などが城主だったともいわれる。
その後、上杉、北条の抗争の中で、大胡城も転変にさらされていく。横瀬成繁が北条方に寝返ると、上杉謙信は大胡城を攻め落とし、配下の北条高広を城主として入れた。しかしこの北条高広も後には謙信を裏切ってしまう。後に越・相同盟が成立すると、北条高広は謙信に許され、厩橋城(前橋城)に復帰した。高広は前橋城を子の景広に譲り、自身は大胡城に隠居したと言われている。