東伯郡浅津村下浅津(現・湯梨浜町下浅津)の医師・遠藤河津三の養子となる。