浪人
更に徳川幕府は旧・豊臣系大名の外様大名を中心に大名廃絶政策を取り、多くの大名が世嗣断絶、幕法違反などの理由によって取り潰され、これによっても大量の牢人が生じたとされてきたが、それを否定する新説もある。 江戸時代に入ると大名家では家臣の数が過剰になり、新規の召し抱えをあまり行わなくなった。また、儒教の影響で主従関係が固定化され、家臣が主君を見限って出奔した場合は、他の大名に「奉公構」を廻して再仕官の道を閉ざすことも行われた。黒田家を出奔した後藤基次は「奉公構」を出されて再仕官の道を断たれ、結局大坂冬の陣で豊臣方に参加している。再仕官できない牢人が激増し、大坂の陣が起きたときには、豊臣方に10万の牢人が寄り集まっている。
大坂の冬の陣・夏の陣で多数の牢人が殺されたが、その後も幕府の大名廃絶政策によって牢人は増え続け、三代将軍徳川家光の晩年にはその数は50万人にも達したとされる。平和な時代となり、再仕官の道は限られるようになった。新田開発や城下町建設などのために、各地で労働力が不足していたことを背景に、武士身分を捨てて町人や百姓になる者、または山田長政らのように朱印船で東南アジアへ出て、東南アジア諸国や東南アジアに進出していたヨーロッパ諸国の傭兵になる者もいたが、大部分は牢人のまま困窮の中で暮らしていた。