先祖は信濃国諏訪氏の末孫で源義仲に仕えていたが、肥田忠直の代に美濃肥田村（現岐阜県土岐市肥田町）に移った後、同米田庄福島（現川辺町福島）に移住して肥田氏を名乗った、あるいは美濃源氏の家系で、土岐氏を経て肥田氏を名乗るようになったとされる。
忠政的祖先是仕于源义仲的信浓诹访氏（日语：诹访氏）的末孙，去到忠政的父亲肥田忠直的一代开始移居美浓肥田村（现岐阜县土岐市肥田町），其后移居至米田庄福岛（现川边町福岛）并且继承肥田氏（日语：肥田氏），另一说法是出自美浓源氏（日语：美浓源氏）的土岐氏。