坂之役时，丰臣方聚集了10万牢人。虽然在大坂冬之阵及大坂夏之阵中，大量牢人被杀，但是因为之后幕府继续实行废除大名政策而使牢人数量继续增长，到德川幕府第三代将军德川家光晚年，牢人数量已经达到50万人。到了和平年代，因为再次出仕的道路被限制，部分牢人成为町人及农民，也有像山田长政等人一样去海外成为佣兵的牢人存在，但是大部分则是继续作为牢人生活在贫困之中。当时，幕府将牢人视作为危险的社会不稳定因素，而实施了将其从城市中放逐亦或者限制居住，禁止再度出仕等政策。牢人受到的压迫越来越严格，从而导致了由井正雪等人发起