Дело не в том, что у него физический недостаток, и не в том, что его жалко. Вы - замужняя женщина. Ставить себя в неоднозначмую ситуацию очень недальнозорко. Это все, конечно, если Вам дороги отношения с мужем. Если нет, то езжайте, конечно. Если - да, то или договоритесь с ним заранее, или Вам ехать не стоит.