У родителей моей приятельницы такая же ситуация была, в итоге он ушел от жены когда младшая дочь закончила институт, причем ушел не к той, с которой подгуливал. ИМХО, твой муж отлично устроился, как он думает, в бытовом плане ему лучше с тобой, да и дети родные, а там  он отдыхает. Бежать от такого нужно пока не поздно.