段放荡的岁月、之后才回家。文化11年（1814年）与堀田一定（主膳）之女、当时百人组头的堀田一知的妹妹阿惠结婚。虽然堀田伊势守家是知行4200石与知行500石的远山家门户不相对、但当时的当家景晋是长崎奉行、所以让堀田家看到景元的未来性而接受这门婚姻。文政7年（1824年）景善过世、翌年文政8年（1825年）出仕于幕府、在江户城西丸的小纳戸工作并且领300俵的报酬、而且也担任照顾德川家庆的工作。文政12年（1829年）4月、景晋隐居而继承家督一职、也继承了知行地500石。天保3年（1832年）就任西丸