Мать и отец имеют одинаковые права на ребенка, вне зависимости  от того с кем он остался жить после развода.Раз Вы  вышли замуж за этого мужчину и родили общего ребенка - значит Вы ему доверяете и он равнозначный Вам родитель, если другое не определил суд.