Ну послушайте, вы конечно молодец, что пытались строить гармоничные отношения. Но может быть изначально надо было обговорить с мамой ребенка, как вы будете участвовать в воспитании ее ребенка,  потом учитывать возраст мальчика. Тут много нюансов,это сложно - чужие дети, никто ж не спорит, но было бы желание... я была в такой же ситуации, сыну было лет 8-9, и мой муж на тот момент разговаривал с ним чуть ли не по фене, это называлось "поговорить по-мужски" и занимался рукоприкладством, а в моей семье это просто недопустимо. На том и расстались.