Вы не пробовали обсуждать это с мужем? И возможно ли это вообще? Надо попытаться разобраться, с чем связано Ваше отношение. Не может в нем быть предубеждения или шлейфа отношений с их родителями? В любом случае, лучше не терпеть молча. Детям можно в доброжелательной форме ставить какие-то рамки и ограничения. Подумайте, что в Ваших силах...