承元3年(1209年)頃から遠江守となり、この頃から政所別当の一人となる。