Они просто чувствуют, что в Вы легко и без сожаления  расстаетесь с мужем на длительный срок. Благо ребенка - это прикрытие, организовать ребенку нормальную жизнь с папой и мамой можно в любом месте, тем более, что мама не работает. Получается, что выбирая между вашими отношениями с мужем  и ребенком, Вы выбираете ребенка, и Ваши родственники чувствуют, что это нехорошо для семьи.