Federationen sade att efterfrågan på fritidshus i vissa engelska landsbygdsdistrikt prissatte lokalbefolkningen utanför marknaden.
Det sägs att ny forskning visade att Uttlesford i Essex såg det största hoppet i andra hem mellan 2004 och 2009.
Norra Kesteven i Lincolnshire hade den näst största ökningen.
I Uttlesford ökade antalet registrerade andrabostäder från 10 år 2004 till 214 år 2009.
Norra Kesteven upplevde en mer dämpad ökning, och antalet andraboenden ökade från 128 år 2004 till 242 år 2009.
Aylesbury Vale i Buckinghamshire tog tredje plats på listan med en ökning från 217 semesterhus till 410 under samma period.
Andra regioner i listans topp 10 inkluderar Rushcliffe i Nottinghamshire, North Lincolnshire, nordöstra Derbyshire, Stratford-upon-Avon i Warwickshire, South Kesteven i Lincolnshire, Braintree i Essex och North Somerset.
Federationen, som representerar 1.200 bostadsmyndigheter i England, sade köpare var inte längre bara intresserade av de traditionella andra hem hotspots Cornwall, Devon och norra Norfolk.
I ett uttalande sade dess verkställande direktör David Orr: " Vissa områden på den engelska landsbygden har sett en enorm ökning av antalet fastigheter som köps som fritidshus, vilket har drivit upp priserna över den nivå som de flesta lokalbefolkningar har råd med.
"Om familjer och ungdomar prissätts från sina lokala byar kan det ha en oerhört skadlig inverkan på samhällslivet, med bybutiker, skolor och pubar som sluter sig i alarmerande antal som ett resultat."
Forskningen visade också att kostnaden för ett genomsnittligt hem hade ökat under det senaste årtiondet - från 175 278 pund 2000 till 303 923 pund 2009.
Man föreslog också att priserna under samma period hade stigit i norra Kesteven - från 74,748 pund till 59 603 pund.
De andra områdena föreslås också ha mer än fördubblats i pris på den tiden.
Organisationen krävde att lokala myndigheter på sådana områden skulle utarbeta handlingsplaner för att hantera situationen.
Familjer tvingas ut ur sina lokala områden när fler köpare söker andra hem på landsbygden, har National Housing Federation varnat.