源義仲
忠政的祖先是仕於源義仲的信濃的末孫，去到忠政的父親肥田忠直的一代開始移居美濃肥田村（現岐阜縣土岐市肥田町），其後移居至米田庄福島（現川邊町福島）並且繼承，另一說法是出自的土岐氏。忠直在權現山興建福島城，及後才在永祿3年（1560年）移築至加茂山，建立米田城。