Sheppard ble født den 4. mars 1702 i Spitalfields-området i London, til en tømrer ved navn John Sheppard (i sin livstid bedre kjent som Jack Sheppard, eller «Gentleman Jack» eller «Jack the Lad»). Faren døde da Sheppard var ung, men han tok likevel hans arbeid.