Решать только вашему мужу. Какой бы это человек не был, но он его родной отец. И только ему виднее, будут его потом муки совести давить или нет. Если рассуждать со стороны, то конечно вы правы, ничего вы этой семье не должны. Но ему он отец, повторюсь. И он все же хоть раз в год, но с ним общался.