当初は年寄衆(御側衆)や奥之番は本来の内々・外様の小番と掛け持ちであったが、寛文10年(1670年)10月10日に年寄衆(御側衆)の禁裏小番が免除され、翌寛文11年(1671年)には、奥之番も本番所(内々・外様のそれぞれに設けられた詰所)への出仕が免除された。