Возможно стоит сначала выяснить, насколько у мужа с девушкой серьезно. А, вообще, нужно перебороть себя и отдавать ребенка отцу. Во-первых, другого отца у ребенка не будет; во-вторых, ребенку очень важно иметь перед собой модель мужчины, особенно мальчику; в-третьих, автору нужно свободное время для отдыха, в т.ч. общения с противоположным полом. Кроме того, как показывает мой опыт, инициатива отца часто и регулярно видеться с ребенком рано или поздно сходит "на нет", к сожалению. Поэтому советую автору пользоваться моментом.