В 1354 году сэр Уильям получил от короля пенсион в 500 марок на всё то время, пока жива его мать. В 1356 году он присутствовал при отречении Эдуарда Баллиоля от прав на шотландскую корону в пользу Эдуарда III Английского, в 1359 году служил в Гаскони. В 1360 году король перевёл Латимера в Бретань, где тот оборонял замок Бешарель. Сэр Уильям удерживал эту крепость до 1370-х годов; формально его люди защищали местное население от угрозы со стороны французского короля, а на деле грабили весь регион. Латимеру удалось собрать большие средства, которые он позже потратил в Англии. В 1361 году барон стал одним из рыцарей ордена Подвязки. Он сражался при Оре, где союзник Англии Жан V разбил союзника Франции Шарля де Блуа (1364 год); после этой победы Латимер отправился в Англию, чтобы получить от Эдуарда III одобрение мирного договора, закончившего войну за бретонское наследство. От короля он получил должности смотрителя лесов к северу от Трента (1368), управляющего двором (1369), смотрителя западных шотландских марок и коменданта крепости Сен-Совер-ле-Виконт (1370), констебля Дуврского замка, лорда-губернатора Пяти портов (1372), шерифа Сомерсета и Девоншира (1374). За тысячу марок сэр Уильям купил опеку над Эдуардом Куртене (1372), за 1500 фунтов — опеку над Генри Бомонтом (1373). В 1373 году он, по-видимому, участвовал в походе Джона Гонта во Францию и ездил в Португалию в качестве посла. В 1375 году вёл переговоры с французами в Брюгге.