実母はアイザックが3歳のときに近隣の牧師のバーナバス・スミスと再婚してアイザックの元を離れ、アイザックは祖母に養育されることになった。