Ваше общение с бм и общение бм с ребёнком - две отдельные проблемы. Лишать ребёнка общения с отцом у вас причин нет. А вот ограничить собственное общение с бм стоит. Договаривайтесь. Пусть отец забирает ребёнка. Не когда ему захочется, а по определённым дням. Ребёнку нужна стабильность и определенность.