У вас сейчас эмоции, вам больно, обидно, кажется сейчас выгоню, и пусть живет как хочет... НО...  разговор все таки необходим... Возможно  была какая то предоплека, может у вас в сексе не все гладко, может что то накопилось у него на вас,и т.д. разговор нужен. Если вы поймете, что все  это для него нормально, что особой вины он не чувствует, тогда уже можно смело рвать... Живете то наверно вместе лет 5, и дочка есть... Смотрите сами, но я всегда за разговор, и если есть чувства - то за сохранение семьи, а одиночное увлечение ИМХО простить можно...