Как так можно - вас выгнали из квартиры где вы жили, может еще и с ребенком? И вы молча перестали ездить с ним к матери, но ничего не обьяснили???  А муж ваш что думал почему вы его мать не взлюбили? Конечно может он совсем не из-за этого ушел, но создавание таких не мелких, и мелких тоже недолмовок, с годами разрушает отношения, когда не понимание и раздражение накапливаются. Нужно говорить обо всем, по возможности спокойно.