Автор, ну ведь по сути он не признался, что у него другая женщина, а вы это до конца не выяснили. Потому и уйти не можете, ИМХО.Надо выяснить до конца, есть ли у него женщина или он ей реально только помогает чем-то по мелочи. Когда это явно станет понятно, то сказать ему, что вы не готовы в такой форме встречаться и все.