これら分割されていた人事権を元豊年間には吏部の元に全て移して、四つの部署は全て吏部管理下の部署となり、審官東院が吏部尚書左選に・審官西院が吏部尚書右選に・流内銓が吏部侍郎左選に・三班院が吏部侍郎右選にそれぞれ改名・改造し、それらの部署を合わせて吏部四選司と呼ばれることになった。