Kommunförbundet kräver att råden i England befrias från restriktioner för möjligheten att låna för att finansiera ny bostadsbyggnad.
Man kräver också att befogenheter så snart som möjligt skall ersätta varje hem som säljs.
Regeringen sa att den var att leverera på sitt åtagande att ersätta alla fastigheter som säljs på en-för-en basis.
Men i en underkastelse inför statskassan sade LGA omfattningen av bostadskrisen krävde att åtgärder för att åtgärda bristen på prisvärda bostäder vidtogs omedelbart.
"Statens senaste tillkännagivande av ytterligare 5 miljarder pund investeringar i form av lån till privata organisationer och för att bygga bostäder på överskott offentlig mark är ett välkommet steg," LGA sade.
"Men råden är också väl lämpade att överbrygga klyftan mellan bostadsbehov och framtida byggnadsnivåer och är angelägna om att se - och stödja - leveransen i snabb takt."
LGA vill föra samtal med ministrarna om huruvida rådens konton för bostadsintäkter - räkenskaperna för hyror och tillgångar - skulle kunna tas bort från den offentliga sektorns skuldbok för att möjliggöra lån mot dessa tillgångar.
"Detta skulle göra det möjligt för lokala myndigheter att snabbt bidra med nya bostäder på marknaden, möta ett brett spektrum av lokala behov och generera betydande avkastning på medellång och lång sikt," sade det.
Råden vill också ha befogenheter att ersätta rådshus som säljs i enlighet med avtal om rätt att köpa.
För närvarande tillåter regeringen endast lokala myndigheter att behålla 30 % av kostnaderna för ersättningshem.
Detta innebär att råden inte kan bygga upp ersättare - särskilt som de inte kan låna för att finansiera resten.
Utlysningen kommer i takt med att nya siffror publicerades om försäljningen av subventionerade bostäder.
De visade att nästan 22 000 bostäder i subventionerade bostäder såldes från åren 2015-16 - 12,557 av kommunerna och ytterligare 9,435 av bostadssamfunden.
Försäljningen uppgår till cirka 0,5 % av det totala beståndet av fyra miljoner socialhus i England.
Det fanns en särskild ökning av andelen bostadssamfund som såldes till privata företag.
Detta var en ökning med 46 % och statsstatistiker sade att detta sannolikt skulle bero på att bostadsföreningarna hade en mer aktiv inställning till förvaltningen av sina tillgångar.
Department for Communities and Local Government sade att det var att leverera på sitt åtagande att ersätta alla fastigheter som säljs på en-för-en-basis.
"I juni 2016 hade 7 018 starter och förvärv ägt rum.
"Detta ger mer än en ersättning för en ersättning på 4 369 ytterligare försäljning eftersom systemet återupplivades 2012."
Stadshuschefer vill ha brådskande samtal med regeringen om hur de snabbt kan bygga bostäder där de behövs.