1712年(正徳2年)、三上藩初代藩主・遠藤胤親の長男として江戸一橋邸で生まれる。