御刀番・大目付・番頭職・用人職と段々と立身。