Я бы на вашем месте уже через год такой ситуевины сказала мужу, что либо мы семья со всеми вытекающими, либо опять досвидос. И тогда все будет очень правильно - вам там действительно делать будет нечего, а ребенок один выходной в неделю пусть тусует там с папой и бабушкой с дедушкой. А другой выходной будет с вами и вашим новым мужем.