Не поняла Ваш формат отношений.  Взрослые люди, вне брака, встречались бы и встречались без детей и совместного проживания. Чего было играть в семью? Он Вам что то обещал? Видимо, нет. Зачем было навязываться? Я бы на вашем месте вообще ничего у него не спрашивала (" у тебя другая?" выглядит глупо), а пресекла бы все попытки критики и прекратила бы общение из той же гордости.