Автор, вы меня простите,  но кого вы там много лет куда послали -значения не имеет.  Имеет значение только то, что если вы выгоните вашего мужа, то качество его жизни заметно ухудшится, что отразится и на его любовнице.  Поэтому, возможно, его любовница и заинтересована в том, чтобы он и дальше жил у вас и помогает ему в этом. Ищите хорошего заинтересованного юриста,  чтобы отделаться от супруга самой малой кровью.