禁裏小番
そのため、永享2年(1430年)に室町幕府の将軍足利義教の介入によって7か条からなる改革案が定めて、常に番のうちの誰かが御所に詰めている状態にすることとして、これに違反した者には所領没収などの措置が取られた。江戸幕府も『禁中並公家諸法度』において「昼夜之御番」という表現で禁裏小番が朝廷に奉仕する公家の任務として、家業・学問と共に重視されるべきものと位置づけられていた。
文明8年(1476年)、小番の中から近臣によって構成される内々(うちうち)番とそれ以外の外様番に分けられるようになり、内々番と外様番では詰める番所なども異なっていた。本来、内々と外様は時の天皇との親疎によって分けられていたが、時代が下るにつれて家ごとに固定化されて「内々」と「外様」は一種の公家の家格となった(完全に固定化された訳では無かったが)。
寛文3年(1661年)、後水尾法皇は新たに即位する幼帝霊元天皇のために内々・外様の中から近臣となるべき者21名を抽出して新たな番を編成した。当初、新たな番は「奥之番」と呼ばれ、本来所属する内々番・外様番との掛け持ちであったが、寛文11年(1671年)に奥之番は本番所(内々・外様のそれぞれに設けられた詰所)への出仕が免除された。奥之番になった者は依然として内々・外様の名簿には名前が残されていたものの、新たな番に所属している間は事実上の専属となり、第3の小番である近習番(もしくは近習小番)が成立した。
慶応4年(明治元年・1868年)閏4月、宮中三番と呼ばれていた内々・外様・近習の区別が廃止されて、「内番衆」と呼ばれるようになった。