妻子伊丽莎白·斯塔福德最初曾经有过一段蜜月期，1527年他勾搭上伊丽莎白·荷兰并把她带回家之后二人的关系急转直下。1530年代公爵夫人正式与他的丈夫分居。她自称是从1534年3月起诺福克就“把我锁在房间里，还拿走了我所有的衣服和珠宝”。随后她被软禁在赫特福德郡的雷德本，每年只有区区两百镑的生活费。她还控诉诺福克和他的家仆曾殴打她。1536年末求恩巡礼事件在林肯郡和其他几个北部郡爆发时，诺福克和什鲁斯伯里伯爵一道率部前去平叛。一开始他们保持了克制，劝说叛乱的民众解散并许诺既往不咎，同时承诺议会也会考虑他们