他的母亲伊丽莎白·亨格福德·基特·梅茜是巴斯韦斯顿富人詹姆斯·梅茜的遗孀。由于是一名秘密生于巴黎的私生子，史密森出生时的法语名被叫作雅克-路易·梅茜（后来改为詹姆斯·路易斯）。父母去世后，他将姓氏改为史密森，他生父婚前的姓氏。史密森受到过良好的教育并最终入籍英国。1766年，伊丽莎白·亨格福德·基特·梅茜的兄弟去世，她获得了位于斯塔德利的亨格福德家族继承权。史密森的继父邓斯特布尔人约翰·马什·迪金森（又名迪肯森）则于1771年去世。1782年，史密森入学牛津大学彭布罗克学院，1786年毕业，后来获得该校文学