Lib Dem MP för Bristol West sade pubar i delar av staden stängde på grund av nedgången av den "vita arbetarklassen" och ankomsten av migranter från Somalia och på andra håll.
Han sade att rapporter om hans kommentarer hade "tvistats" för att föreslå ett fokus på ras.
Han hade helt enkelt föreslagit att förfallna lokaler skulle omvandlas, sade han.
Kommentarerna gjordes i och med att Williams lade fram ett förslag från regeringen om att skydda pubar i samhället.
Planen innebär att ändra lagen för att förhindra att platser som listas som tillgångar av samhällsvärde förstörs eller att deras användning ändras utan planeringstillstånd.
En del kampanjdeltagare hade uppmanat regeringen att gå längre och införa ett allmänt förbud mot ombyggnad av alla pubar utan planeringstillstånd.
Williams argumenterade mot ett totalförbud och sade till parlamentsledamöterna: "I min egen valkrets har många pubar stängt - men det är vanligtvis på grund av demografiska förändringar.
"Vissa delar av min valkrets, som för 20 eller 30 år sedan hade ett 'vitt arbetarsamhälle', befolkas nu i första hand av nyligen anlända somalier och andra människor.
– Det är uppenbart att pubarna i dessa områden har stängt, och en del har konverterats till andra användningsområden, men en del av dem är fortfarande förfallna.
"Vad regeringen föreslår är att titta på de offentliga hus som verkligen är populära och värderas av samhället nu, ge dem skydd som redan är tillåtet i Localism Act och ytterligare förbättra detta skydd i termer av planering lagar, säger att du inte kan konvertera denna pub till en annan användning eller riva den utan planering tillstånd."
En del rapporter, däribland en i tidningen Daily Telegraph, med rubriken "Somaliinvandrares pubnedläggningar", hade tagit hans kommentarer ur sitt sammanhang, sade Williams.
"Det fanns inget värde i det jag sa. Det var helt enkelt en iakttagelse", berättade han för BBC.
"Några pubar i Barton Hill och Redcliffe området i min valkrets har stängt på grund av ankomsten av en icke-drickande muslimsk befolkning till området.
"Jag kunde ha gjort ett påpekande om pubar stängning på grund av nedgången i en fabrik eller en fotbollsstadion - som båda också gäller min valkrets", sade han.
"Jag sa helt enkelt att det inte fanns någon mening med att vi gav skydd till alla pubar, som vissa föreslår.
"Men vad vi tillkännager är makt för människor över hela landet att skydda sina älskade pubar genom att utlösa en planering ansökan om de är listade som en samhällstillgång."
Williams avvisade alla förslag som hans kommentarer hade motiverats av en negativ syn på migration.
"Jag har konsekvent argumenterat för att invandring är en bra sak", sade han. "Det är min uppfattning som liberal."
Kommunernas minister Stephen Williams har försvarat sina kommentarer i parlamentet om hotet mot pubar i sin valkrets mot befolkningsförändringar.