Ну во-первых, вам двоим надо сразу разобраться чего вы друг от друга ждете. Вы - скорее всего серьезных отношений хотите. Постель и совместное времяпровождение вас явно не устраивают. А  он скорее всего этого только и ждет. Поговорите друг с другом честно. Если он хочет нормальную семью - пусть меняется. Если его все устраивает - тогда подумайте согласны ли вы на "несерьезные" отношения. Вам это надо? Я бы не  стала развлекаться с мужчиной, зная, что мой ребенок дома сидит один (или с бабушкой, няней), ну не вышло бы ничего. Но у каждого человека свои ценности. Поэтому никаких советов давать не буду, кроме как поговорить честно чего оба вы хотите.