关系维持大约15年，两人同居多年，亦曾一同居于法国，玛丽更在1783年怀孕，但却以流产告终。由于玛丽本身是失婚妇人，另外又在前一段婚姻育有一名女儿，因此两人的来往一直遭塔尔顿家人反对，两人最后在1797年分手离场。1798年12月17日，塔尔顿在伦敦白厅迎娶已故第四代安卡斯特公爵的私生女苏珊·伯提（Susan Bertie，1778年－1864年）为妻，苏珊本身比塔尔顿年轻24岁，塔尔顿在1833年逝世后，苏珊比丈夫多活了31年，至1864年以87岁高龄去世，两人终生无子无女。此外，塔尔顿育有一名私生女