Kommunerna och kommunkommittén sade att de åtta största företagen byggde mer än hälften av alla nya hem.
Parlamentsledamöter sade att regeringen bör göra mer för mindre byggare som inte har skalan att bjuda för stora projekt.
Men Home Builders Federation, som representerar stora och små företag, sade att endast stora företag kunde sprida de risker storskaliga projekt utgör.
Kommittén sade också att lokala myndigheter bör förbereda mark för husbyggande.
Detta skulle innefatta att tillhandahålla den infrastruktur som behövs, såsom vägar och kollektivtrafik.
"Bostäder marknaden är trasig, vi är helt enkelt inte bygga tillräckligt med bostäder," sade Clive Betts MP, ordförande i kommittén.
"Smaller byggare är på nedgång och sektorn är alltför beroende av ett oroväckande litet antal högvolym utvecklare, drivs av kommersiella egenintresse och med lite incitament att bygga snabbare.
"Om vi ska bygga de hem som landet så desperat behöver, till salu och till uthyrning, då måste denna dominans upphöra."
Regeringen lovar mer prisvärda bostäder
Arbetarna lovar att bygga en miljon nya bostäder
Kommittén fann att mindre byggare kämpade för att få mark för utveckling, eftersom lokala myndigheter fokuserade på stora platser som bara stora företag hade råd att ta på sig.
Homebuilders Federation sade: "Vi stöder till fullo utskottets uppmaning till åtgärder för att hjälpa mindre byggare, uppmuntra nya aktörer och skala upp specialiserade bostadssektorer, såsom marknaden för äldreboende.
"De allra flesta av de stora ökningarna av bostadsutbudet under de senaste åren har kommit från de större, vanliga byggare - men vi behöver fler byggare av alla storlekar och specialiteter om vi ska kunna ta itu med vår akuta bostadsbrist."
I februari lovade regeringen att bygga mer prisvärda hus och hjälpa människor att köpa och hyra, efter att erkänna den nuvarande marknaden bröts.
I Englands bostadsstrategi ingick att ge råden befogenheter att pressa byggherrar att börja bygga på mark som de äger.
Ministrarna lovade också att göra hyran mer "familjevänlig" med längre hyreskontrakt.
Labour kallade dock de åtgärder som tillkännagavs "otroliga".
Parlamentsledamöterna har efterlyst ett slut på de stora husbyggnadsföretagens dominans för att fixa den "brutna" bostadsmarknaden.