文久2年(1862年)に復帰して若年寄格に昇格したが、清房は但木土佐ら佐幕派を支持して遠藤允信ら尊王攘夷派と対立し、藩内に政争を起こす一因を成した。