実母はアイザックが3歳の時に近隣の牧師のバーナバス・スミスと再婚してアイザックの元を離れ、アイザックは祖母に養育されることになった。
牛顿3岁时，母亲改嫁并住进了新丈夫巴纳巴斯·史密斯牧师位于北威特姆的家，而把牛顿托付给了他的外祖母玛杰里·艾斯库。