在1766年11月8日娶辉格党前首相第四代德文郡公爵的女儿桃乐丝·卡文迪许女爵（Lady Dorothy Cavendish，1750年8月27日－1794年6月3日）为妻，此一政治婚姻对波特兰的政途具有正面影响。 波特兰公爵夫人突然在1794年突然因为肠脏坏疽而死，终年43岁。 波特兰公爵是英女皇伊利沙伯二世的其中一位外太高祖， 波特兰公爵夫妇育有四子三女，包括：除上述婚姻外，波特兰公爵早年曾有多段绯闻。他早于1764年与玛丽亚·沃尔德格雷夫（Maria Waldegrave）传出关系，但沃尔德格雷夫