Віттемор народився в Англії. Він поїхав до Північной Америки в 1745 році як капітан драгунів Британської армії. Воював у Війні короля Георга (1744–1748). Брав участь у захопленні французької цитаделі Луїсбур. Після війни він залишився в колоніях, оселившись в Менотомі, Массачусетс (нині Арлінгтон). Згодом воював у франко-індіанській війні (1754-1763) у віці 64 років, знову беручи участь в захопленні форту Луїсбур.