1724년 2월 28일 제3대 타운센드 자작 찰스 타운센드와 그의 아내 오드리 (니 해리슨)의 장남으로 태어났다. 이튼 컬리지를 거쳐 세인트 존스 대학교 (케임브리지)에 진학했다. 1743년 여름에 육군에 자원 입대하여, 1745년 4월에는 제7기병 연대의 대위가 된다. 1743년 6월 오스트리아 왕위 계승 전쟁의 데팅겐 전투에서 첫 실전 경험을 얻었다. 그는 1745년 4월에 제7기병연대의 대위가 되어, 네덜란드에서 작전을 했다. 자코바이트가 반란을 일으켰을 때, 1746년 4월 에 컬로든 전투에서 싸웠고, 컴벌랜드 공작의 보좌관으로 임명되어 1747년 2월에 제20연대로 이동했다.(이 전투에서 컴벌랜드 공작은 학살자로 악명을 떨쳤다.) 오스트리아 계승 전쟁의 막바지인 1747년 7월에는 라우펠트 전투에 참전했다.