Если он не поладил с ребенком - это главное и единственное важное. Значит никакого совместного проживания и точка.  В остальном - в меру своего мазохизма можно развлекаться на нейтральной территории, но не во вред ребенка. Ну нравятся некоторым такие странные мужчины, что поделаешь.