Joseph Black
تزوج فيرغسون من كاثرين بيرنيت في عام 1767. كان فيرغسون ابن عم جوزيف بلاك وصديقه وزميله أيضاً، وكانت كاثرين ابنة أخي بلاك. أنجب الزوجان سبعة أطفال، أكبرهم آدم فيرغسون (ضابط بالجيش البريطاني) وصديق مقرب من السيد والتر سكوت، وكان من أبنائهم أيضاً جيمس وجوزيف وجون وإزابيلا وماري ومارغريت.