Если муж просит вашей помощи, то вы можете ему четко, но без эмоций , озвучить условия этой помощи .Могу поехать, если не будет  свекрови. Если она там будет , то не могу.    Если муж защищает только свой душевный комфорт, то и вы имеете полное право защищать свой душевный комфорт.