Надо дать ему знать, что вы в курсе зарождающейся интрижки. Как именно дать знать- только вы знаете. Высмеять, пригрозить разводом, обрисовать все минусы -  вам виднее. Судя по всему, вы разумная женщина и найдете подходы к нему. Надо пресечь все это сейчас, пока не вляпался в отношения.