En 1724, el padre de Thomas, David Pennant, heredó la vecina propiedad de Downing de un primo, lo que aumentó notablemente la fortuna familiar.