Longford i Hillingdon kan rivas om en tredje bana byggs på angränsande Heathrow flygplats.
Ett hotell erbjuder boende i hus som har köpts för asylsökande, inklusive de från den så kallade "Jungle" i Calais.
Inrikesdepartementet har försökt ta itu med invånarnas oro.
Det har sagts att beslut om användningen av hotellboende, inklusive vilka lokaler som används, är en fråga för de entreprenörer som står för kostnaderna.
Det skulle inte tala om hur många asylsökande som skickades till Longford, men nämnda rum användes under en eller två dagar innan asylsökande delades upp i tillfälliga bostäder.
BBC London filmade två bussar och tre laster med skåpbilar som anlände till en dag med människor från Iran, Sudan, Eritrea och Syrien.
Många av dem ombord sa att de hade kommit från den så kallade "Jungle".
Tre dagar senare fick ytterligare två tränare bevittna ankomsten.
Ray, 85 år, har bott i Longford i 50 år. Han sa att asylsökande var inhysta i husen på båda sidor av hans.
"De träffas och de har samtal mitt i min trädgård", sade han.
"Vi vet inte var de kommer ifrån, vi vet inte vad de är och vi bor granne med dem, även om de kan vara mycket trevliga människor."
Hotellet, Heathrow Lodge, hyr också rum till resenärer som använder flygplatsen.
Bokning webbplatser bekräftar ett rum kan kosta 30 pund per natt per person, mindre per person om dela.
Varken inrikesministeriet eller hotellet skulle säga hur mycket som betalas per asylsökande.
BBC London bokade ett rum och träffade åtta män som alla bodde i ett hus.
De var asylsökande från Sudan och Eritrea och sade några dagar tidigare att de hade sovit hårt i lägret i Calais.
Mogdad från Sudan sa att han hade betalat ett folk trafficker 500 euro (370 pund) i Calais för att komma till Storbritannien.
"Jag har inget val", sa han. "Jag måste komma bort från döden."
Byr Ray sa: "Tränarna dyker upp - ungefär 20, 30 personer går av, och de förflyttas till alla hus som finns runt byn."
Longford bosatt Leon, sade: "Du vet, (med) vad som händer runt om i världen för tillfället, de har rätt att flytta från farliga områden, men det är bara mättad där jag bor, med invandrare.
"Jag valde att bo här med flygplanen, men jag valde inte att bo här med de tre till fyra tränarna per dag som flyttade in och ut, och särskilt inte nattetid också.
Byborna insisterar på att de inte är rasister.
Rana Saif, som driver en av de lokala pubarna, föddes i Pakistan och flyttade till Longford från Sverige för tre år sedan.
"Inga rasister här", sa han.
Han hävdade att antalet asylsökande som bodde i byn hade slagit till mot honom.
"Ingen kommer hit, när de står 20, 80 personer utanför på vägen, på väggarna.
"Jag ska flytta härifrån så fort som möjligt.
"Det var bra innan immigranterna kom."
Även om byns framtid kan vara bunden av regeringens beslut om att bygga en ny landningsbana vid Heathrow, säger invånarna att de vill ha något gjort.
Inrikesdepartementet sade att det hade gjorts klart för entreprenörerna att användningen av hotell bara var godtagbar på kort sikt.
Hillingdon rådet sade att det mottog tre klagomål tidigare i år, till att lägga till det hade tittat i anspråk rum överfulla och hade satt in ytterligare licensarrangemang för hotellet.
Hotellchefen ville inte bli intervjuad eller göra ett uttalande.
Men vid ett möte nyligen med några bybor sade han att han var ledsen att människor var olyckliga. Han ville göra det bättre, och i framtiden skulle inte mer än 40 asylsökande stanna vid ett och samma tillfälle.
Invånare i en by nära Heathrow flygplats säger att de "överväldigas" av människor som söker asyl i Storbritannien.