至1953年5月间搬到苏格兰昔德兰群岛中的安斯特岛，在岛上精神病院蒐集民族志资料。1952年，高夫曼与安洁莉卡·乔特（）结婚，并在1953年生下长子汤玛斯（）。1964年，安洁莉卡·乔特因精神疾病自杀身亡。在学术工作之外，高夫曼热衷赌博，且经常出入股票市场；他曾为了兴趣和民族志研究，而在拉斯维加斯当赌场经理。1981年，高夫曼再婚，对象是社会语言学家；隔年生下长女艾莉丝（Alice），她日后也成为社会学家，任教于威斯康辛大学麦迪逊分校，从事费城黑人社区的都市民族志研究。1982年11月20日，厄文