Вам нужно воспитывать в себе другое отношение к  ситуации. Вы связались с мужчиной с прошлым - учитывайте это. У этих трех взрослых людей (вашего мч, его матери и его бывшей жены) явно есть проблемы-вопросы более насущные, чем наставить вам рога или перемыть вам косточки. Например, им важно обеспечить  ребенку целостную и гармоничную картину мира - что родители несмотря на развод могут проводить время под одной крышей и сидеть за одним столом, что свою семью он (ребенок) не потерял (для ребенка ведь и мама, и папа, и бабушка это семья, даже если мама и папа между собой больше не семья).