Sidney Smith, her zaman kendisine söylediği adıyla, Pitt ailesiyle bağlantıları olan askeri ve denizci bir ailenin çocuğu olarak dünyaya geldi. Westminster'da , Muhafızlardan Yüzbaşı John Smith'in ve zengin tüccar Pinckney Wilkinson'ın kızı olan karısı Mary Wilkinson'ın ikinci oğlu olarak doğdu . Sidney Smith, 1772'ye kadar Tonbridge Okulu'na katıldı. 1777'de Kraliyet Donanması'na katıldı ve 1778'de Amerikan fırkateyni Raleigh'e karşı eylem gördüğü Amerikan Devrim Savaşı'nda savaştı.