Kommittén för finansiell utestängning säger att bankerna misslyckas med de kunder som behöver dem mest, vilket lämnar de fattigaste att förlita sig på dyra produkter.
Kommittén tillägger att man snarast måste införa kontroller av "hyra till egna" produkter och andra kreditavtal med höga kostnader.
Bankerna bör åläggas att ha en omsorgsplikt gentemot sina kunder.
I rapporten betonas hur lagstiftningen har varit framgångsrik när det gäller att bekämpa otillbörliga metoder av betalningslåneföretag.
Regeringen bad tillsynsmyndigheter Financial Conduct Authority att begränsa de räntor de kan ta ut.
Kommittén efterlyser liknande restriktioner för andra former av högkostnadskredit, avgifter för oordnade övertrasseringar och "hyra till egna" produkter.
Detta är produkter som gör det möjligt för kunder att köpa artiklar, såsom tv-apparater eller mobiltelefoner, genom hyresavtal som kan kosta så mycket som fyra eller fem gånger den normala prislappen.
Skuldkassor säger att eftersom högkostnadslåneföretagen har drivits ut har efterfrågan på krediter från människor i fattigdom flyttats till andra områden.
Regeringen uppmanas att utse en minister för ekonomisk integration som årligen skall rapportera till parlamentet om de framsteg som gjorts för att komma till rätta med den ekonomiska utslagningen.
Kommittéordföranden baronessan Tyler av Enfield sade: " För många människor har fortfarande inget bankkonto eller kan inte få tillgång till grundläggande eller skäligt prissatta finansiella tjänster.
"Den "fattigdomspremie" - där de fattiga betalar mer för en rad tjänster från uppvärmning av deras hem till tillgång till kredit - bidrar till en ond cirkel som driver människor allt djupare in i skulder och nöd."
Hon tillade att offren för ekonomisk utestängning var "ofta de mest utsatta i samhället – de äldre, de fattiga eller de som lever med fysiska funktionshinder eller psykiska hälsoproblem".
"Åtgärder måste vidtas för att se till att det finansiella systemet i detta land fungerar för alla.
Alltför ofta misslyckas funktionshindrade kunder av banker som inte anpassar sina kommunikationer och förfaranden för att tjäna dem på rätt sätt, sade hon.
Utskottet hade fått höra om banker som kontaktade döva per telefon och skickade skriftliga PIN-nummer till blinda i stället för att använda blindskrift, tillade hon.
British Bankers Association sade att det redan hade ett nära samarbete med regeringen, tillsynsmyndigheten och konsumentförespråkarna på ett antal av de områden som betonas i betänkandet.
"Vi kommer att överväga rapportens rekommendationer i detalj och fundera över hur de kan antas av branschen framöver", tillade den.
Polly Mackenzie, chef för Institutet för ekonomisk och mental hälsa, sade: " Alltför länge har man antagit att när människor med psykiska hälsoproblem hamnar efter på räkningar, eller kämpar för att hålla sig till sin budget, beror det på att de är lata eller inkompetenta.
"Det är helt enkelt inte sant, och vi är glada över att se Lords-kommittén erkänna detta och behovet av att bankerna ökar och erbjuder stöd.
"Det är dags för bankerna att anpassa sina tjänster för att hjälpa till att stödja människor när de mår dåligt."
Bankerna och de finansiella tillsynsmyndigheterna bör göra mer för att ta itu med den onda konjunkturen med skulder och överavgifter, säger en Lords-kommitté.