"Не хочу разрушать твою семью" в данном контексте переводится как ведливый посыл: мол, не хочу менингитов на свою голову. Как выше написали: парень искал необременительных отношений с замужней дамой, без обязательтств. А не разборок и звиздостраданий и потенциальной разведенки с 2-мя детьми на свою голову. Сорри. А с мужем что делать - а решайте с мужем, может, для начала. Если так опостылел - ну то разведитесь. Потому что уходить "от одного к другому" в таких случаях не работает.