Ну и не пересекайтесь. Еще много чего придется отстаивать в отношениях с мужем,  а в чем-то уступать. решите, насколько для вас важно проводить выходные так как вам хочется, как часто вам это требуется, а как часто вы готовы проводить их с ребенком, и донести эту информацию до сведения мужа - просто информируйте как о свершившемся факте, и не ведитесь на его ответные провокации. А то будет и дальше "обижаться" на все подряд.