Прекратите туда поездки с ребенком. Максимум - одни сутки и обратно. С их  отношениями вы ничего не сделаете,  прикрыть  своего  ребенка не умеете. Выход  единственный: не приезжать. С мужем договаривайтесь, ибо  благо ребенка тут первично, а ребенок ничего не может сделать  в ситуации.