Вы должны решить это и все. Если Вы выбираете желание ребенка жить с папой, то, пожалуйста, живите и не мечитесь. Вы можете завесьти себе любовника и быть счастливой. А сын пусть растет с папой, какой есть. Если же Вы совсем не можете с  ним жить, выгоняйте и все. И живите в свое удовольсвтие. Но решить надо осознанно, взвесив все плюсы и минусы. Я выбрала первое и понимаю, каков он, мой муж, но я хочу жить в семье, для меня важен статус жены.