Народився 1702 року у Пскові в родині обрусілого вихідця з Англії. Його батько був на військовій службі при Петрі І, брав участь у Північній війні, зокрема в Полтавській битві. Сам Віллім Фермор молодший розпочав військову службу бомбардиром у 1720 році й через 6 років отримав офіцерський чин.