Конечно, если хотите его вернуть, соглашаетесь. А потом когда он рядом, начинайте работу по возвращению. Например, пусть гуляет с детьми, проводит с ними время, у вас их 3. Чем больше времени он с детьми, тем его меньше на любовницу.  И займитесь собой пока он с детьми, главное, спокойствие, не наезжайте на него, но держите дистанцию, будьте приветливой, но недоступной. Пусть он снова вас захочет.