近世の非人の発生は、江戸時代の町と村の成立過程と不即不離の関係にある。村においては地方知行制から俸禄制へと移行する中で、村に対する武士の直接的関与が薄れ、年貢の村請けが進行するに伴い、病気や災害などにより年貢を皆済できない百姓が村の根帳（人別帳）から外れ、町へ流入。町においては城下町整備に伴う治安悪化・出火対策の一環として、人返し令等に代表される里帰し政策を取り続けるが、一方ではこれを保護の対象とし、抱非人として更生を図った。
江戸時代の非人には、以下の者も含む。
非人手下.
生まれながらの非人のほかに、刑罰として、平人から非人へ身分を切りかえられるものがあった。それを非人手下といった。
「御定書百箇条」には非人手下になる犯科として次のようなものを挙げてある。
生業と役負担.
非人の生活を支えた生業は勧進である。小屋ごとに勧進場というテリトリーがあり、小屋ごとに勧進権を独占した。非人の課役は、行刑下役・警察役などである。本来町や村は、共同体を維持するため、よそ者や乞食を排除する目的で番人を雇っていたが、非人はこの役を務めた（番非人、非人番）。番太郎・番太とも呼ばれた。
死牛馬解体処理や皮革処理は、時代や地域により穢多（長吏・かわた等）との分業が行われていたこともあるが、概ね独占もしくは排他的に従事していたといえる。ただしそれらの権利は穢多に帰属した。
江戸.
各地の非人頭及び主業務は以下の通り。
関東.
江戸の他においても弾左衛門の支配は、関八州（水戸藩・日光神領を除く）、伊豆国、陸奥国の南端、甲斐国・駿河国の一部に及び、当該地域の非人は弾左衛門の配下となった。
関西.
畿内においては、中世以来有力寺社との結びつきが強く、多くが各寺社の管理下に置かれた。しかし制度として整備された関東の弾左衛門による組織的な集中支配下に置かれた関係とは異なる。そのためか京都や大坂の町奉行で解決できなかった例が多く残る。時代・地域によっても多様であり、未だ解明されていない部分が多い。
その他.
有名な例として、太平の世で注文が激減、ついには非人小屋入りしたことから「非人清光」と呼ばれた刀鍛冶、加州清光などもいた。穢多と異なり脇差は禁止され、穢多と同様に傘は禁止された。
感染症との関連.
ハンセン病.