Frågan förvärras av en brist på "rättvis och jämlik spridning", med vissa områden som tar hundratals människor och vissa tar ingen, dess parlamentsledamöter sade.
De fördömde en "appellerande" episod där asylsökande uppmanades att bära armband, och ett fall där deras dörrar alla var målade en färg.
Inrikesdepartementet sa att det var engagerat för att tillhandahålla säkra och säkra bostäder.
"Det dispersionella systemet verkar orättvist, med hela delar av landet aldrig ta emot en enda asylsökande," sade utskottets ordförande Keith Vaz.
– Majoriteten flyttas till billiga bostäder i stadsområden som Glasgow, Stoke, Cardiff och naturligtvis Middlesbrough, där förhållandet är 1 asylsökande per 137 personer.
"Men, på de uppgifter vi har fått, lokala myndigheter i områden som Maidenhead, Lincoln och Warwick har inga."
Andra områden som anges i rapporten som att ingen har mottagit stöd till asylsökande - känt som stöd enligt avsnitt 95 - under det sista kvartalet 2015 omfattade Cambridge, Cornwall, Midlothian och York.
Lokala myndigheter med få asylsökande, eller inga, bör "aktivt uppmuntras av ministrar att frivilligt" att ta några, sade parlamentsledamöterna.
Hur många asylsökande bor i ditt område?
För närvarande ingår 200 lokala myndigheter i ett system som tillhandahåller bostäder för asylsökande.
De tre privata företag som driver programmet – Compass – inrikesministeriet och utskottet för inrikes frågor är alla överens om att det är nyckeln till att minska den kroniska bostadsbristen att få fler råd ombord. Det kan mycket väl bli en kris om antalet asylsökande fortsätter att öka.
Med 38.000 är siffran som högst sedan 2004.  Vissa råd skulle delta om entreprenörerna kunde hitta tillräckligt lämpliga och prisvärda fastigheter; på andra områden kan det vara rädslan för en röstnedslag som avskräcker lokala politiker från att gå med på att delta.
I och med att regeringen åtagit sig att vidarebosätta 20 000 syrier till 2020, samt att ta emot asylsökande, måste ministrarna hitta en lösning - eller se fram emot att fler av dem ska bo på tvåstjärniga och trestjärniga hotell.
Kommittén sade att dess slutsatser "lämnar stora frågor att besvara" om driften av Compass - namnet på kontraktet för att tillhandahålla asylstödtjänster.
De viktigaste entreprenörerna är G4S, Clearsprings och Serco, och kommittén sade leverans "har mestadels varit otillfredsställande hittills".
"G4S, Serco och Clearsprings får miljontals pund av offentliga pengar för att hus asylsökande, och avslöjanden under de senaste månaderna har varit alarmerande," Mr Vaz sade.
"Den obligatoriska användningen av armband och de ökända röda dörrarna visar en oacceptabel inställning till utsatta människor.
"Inrikesdepartementet har misslyckats med att tillhandahålla ordentlig tillsyn och inspektion, och måste göra bättre ifrån sig."
Inrikesministeriet sade att det arbetade med områden som hittills inte hade deltagit i asylspridningen.
En talesman sade: " Inrikesdepartementet har samarbetat nära med våra leverantörer för att förbättra egendomsstandarderna under Compass-avtalets livstid.
"När en entreprenör inte uppfyller dessa krav arbetar vi tillsammans med dem för att se till att frågor snabbt tas upp. När de inte är det kan och gör vi införa sanktioner.
"Alla leverantörer uppfyller de avtalsenliga kraven för att tillhandahålla säkra, beboeliga, ändamålsenliga och korrekt utrustade bostäder i enlighet med bostadslagen 2004 och standarden för anständiga bostäder."
Det finns en "oavsiktlig brist" på bostäder för asylsökande i Storbritannien, har utskottet för inrikes frågor varnat.