武士が在地領主であった鎌倉時代・室町時代においては所領と職を失い浮浪する者たちを指した。この時代は浪人になっても各地で慢性的に小規模な戦乱が頻発し、大名は戦闘要員を必要としており、新たな主家を得る機会は少なくなかった。また、治安状況が悪かったために、浪人が徒党を組んで割拠し、野盗をしたり一揆を起こす者たちもいた。この頃の浪人は浮浪の意味に近く、牢人の者もいたが牢人という身分語が定着するのは室町時代後期である。
戦国時代になると主従関係と身分関係が前時代より明確になり、たとえ主家が滅びて牢人となっても再仕官する機会は多くあった。ただ、後の江戸時代よりも主従関係が緩やかであり、待遇に不満があれば主君を見限り自ら致仕して牢人となり、実力次第でよりよい待遇を求めて別の大名家に仕官する者たちもいた。
牢人たちは己の武功を証言してくれる証人の確保や再仕官の口利きなどの目的から、所属する主家を越えたゆるやかな横のつながりを重視した。大名にとって有力な牢人を一人召し抱えることは、彼個人の器量に期待できるのみならず、有事の際に彼の背後に控える数多の牢人を即戦力として動員できること意味していた。
豊臣秀吉が天下を統一して、戦乱の時代が終息すると、牢人をとりまく状況が変化した。各大名家は多くの家臣を召抱える必要がなくなってきた。関ヶ原の戦いで東軍の徳川家康が勝利すると、西軍についた大名の多くが取り潰されるか、大幅な領地の減封を受け、これによって大量の牢人が生じた。
とはいえ江戸時代初期までの牢人には、正規の侍身分というのは殆どおらず、小者、中間、あらしこ、下人などと呼ばれた武家奉公人が多かった。戦国の世において貧困や飢饉で食い詰めたり、或いは人の主になろうとした農民などは、生き延びるために大名の軍に積極的に参加している。そのため、戦争が終わると村に戻ったり、大名が被官を減らす際に真っ先に切り捨てられたのである。
江戸時代.
更に徳川幕府は旧・豊臣系大名の外様大名を中心に大名廃絶政策を取り、多くの大名が世嗣断絶、幕法違反などの理由によって取り潰され、これによっても大量の牢人が生じたとされてきたが、それを否定する新説もある。