权势提高后，也包含服侍摄关家的军事贵族，规模急速的膨张。元永元年（1118年），为防范延历寺强诉，仅派遣到贺茂河原的部队就达到「千余人」（『中右记』5月22日条）。武者所本来负责院的警护，之后，机能被北面武士吸收。又，白河法皇不断的抜擢北面武士成为检非违使，越过检非违使别当直接下达指示，使检非违使厅形骸化。平正盛・忠盛父子成为北面武士的笔头，提升在院厅的地位。承久之乱之后，院的武力组织坏灭。北面武士虽残存，但是规模缩小，仅存作为御所警备队的机能，经过室町时代・安土桃山时代・江户时代的变迁，最后连警备