جوزيف بلاك
تزوج فيرغسون من كاثرين بيرنيت في عام 1767. كان فيرغسون ابن عم جوزيف بلاك وصديقه وزميله أيضاً، وكانت كاثرين ابنة أخي بلاك. أنجب الزوجان سبعة أطفال، أكبرهم آدم فيرغسون (ضابط بالجيش البريطاني) وصديق مقرب من السيد والتر سكوت، وكان من أبنائهم أيضاً جيمس وجوزيف وجون وإزابيلا وماري ومارغريت.