在衰微而变成亡命状态的武家，以及其臣下都会被称为落人。着名的有平家落人，在逃亡后于山间等地方造成集落。另外，虽然真伪不明，在近世于铁矿山的劳动者等在山间生活的集团中，有力者会自称为「丰臣的遗臣」、「尼子的落人」等落人末裔。在室町时代，没落并失去后盾的公家和武家亦会被视为落武者，被建造据点的当地町人袭击，失势的武家的屋敷被略夺。被流放的罪人亦会被视为落武者，理所当然地亦会成为落武者狩的对象。亦有「落武者连对薄穗都会感到恐怖」（）的惯用句，即落武者对任何事都会感到恐惧的意思。
现代用