Не знаю насколько мой вариант дипломатичный, но я б сказала: "Милый, ну ты же знаешь нас женщин, мы ж на что угодно можем обидеться, а вдруг моя мамуля расстроится, если мы твою мамулю пригласим, а ее нет. Давай не будем искушать судьбу и попробуем справиться без их помощи."