Это поведение мальчика, а не зрелого мужчины. Просто решите для себя, чего достойны Вы, что Вы точно достойны другого отношения... не думаю, что с таким человеком могут быть в будущем крепкие и надежные отношения. Вы все делаете правильно. Кроме того, Вы даже не обязаны ему ничего объяснять и оправдываться перед ним. Его воспитанием должна была заниматься его мама, а не Вы - любящая и ценящая себя женщина.