Может быть вас бесит не сама бывшая семья, а то, что вашим мужем манипулируют и он ведется? Или вы чувствуете какую-то ложь? Типа для мужа бывшая семья отличный предлог в любой момент свалить из дома? и уклониться от каких-то дел с вами?