I 1817 giftet han seg med Ellen, datter av sir Thomas Burke. De fikk fem barn sammen. Etter hustruens død i 1826 fikk Smythe tre barn med Katherine Benham, den eldste av disse var kunstmaleren Lionel Percy Smythe.