Pitt trat 1774 als Ensign in ein Infanterieregiment der britische Armee ein. Im Jahr 1778 wurde er zum Lieutenant befördert. Zeitweise diente er im Amerikanischen Unabhängigkeitskrieg. Im Range eines Captain nahm er an der langen Belagerung von Gibraltar zwischen 1779 und 1783 teil.