当初、幕府は、大坂の陣や島原の乱に大量の牢人が加わっていたことを理由に、牢人を危険視して、市中から追放や居住制限、再仕官の禁止など厳しい政策をとった（ただし、伊予松山藩蒲生家の記録では熊本藩加藤家の改易の際には、幕府の要請で縁戚である蒲生家が家臣の一部を引き取り、数年後に蒲生家が改易された時には幕府が再仕官の斡旋を行ったとする）。また、幕府は、東南アジア地域における紛争を回避し、幕府の武威を守る観点から、東南アジア地域の傭兵となった牢人を国際紛争の火種として警戒した。その結果、徳川秀忠及び徳川家光は、いわゆる鎖国政策の確立を通じて、朱印船貿易を廃止し、牢人の東南アジアへの渡航及び東南アジアに永住する牢人の帰国を禁じた。そのような結果として、牢人たちはますます追い詰められ、由井正雪らの幕府転覆計画（慶安の変）を引き起こすに至る。この頃より流浪する牢人や未仕官の牢人を浪人と呼ぶようになる。
これらによって幕府は従来の政策を見直し、世嗣断絶の原因となっていた末期養子の禁を緩め、大名の改易を減らし、牢人の居住制限を緩和し、再仕官も斡旋するようになった。しかし、これ以後もさまざまな理由で主家を召し放ちとなり牢人となる者は後を絶たなかった。
江戸時代の牢人は士籍（武士としての身分）は失っていたが、苗字帯刀は許されており、武士としては認知されていた。その日常生活は町人と同じく町奉行の支配下に置かれていた。牢人の多くは貧困で借家住まい・その日暮らしの生活を余儀なくされており、細かい手作業で身を立てたり、自暴自棄になって強盗などの犯罪に走った者もいた。
しかし中には、武士の身分を捨てて商人として出世した者もいた。新井白石は牢人時代に婿入りによってその機会がありながらも、固辞したという逸話がある。近松門左衛門のように文芸の世界で成功した者や、町道場を開き武芸の指南で身を立てる者、寺子屋の師匠となり庶民の教育に貢献する者たちもいた。有名な牢人に宮本武蔵がおり、文芸作品では仕官の道が叶わなかった不遇の武芸者のように語られており、それは間違いとはいえないが、実態としては多数の弟子を抱えた道場主であり、後世に書画を遺すほどの生活の余裕があった。特異な例としては、れっきとした幕府の役目を負う立場でありながら牢人の身分であった、山田浅右衛門がいる。