Я бы отправила в жесткий игнор, и даже без объяснений. Во-первых, они прекрасно поймут, почему именно вы с ними не общаетесь--здесь ситуация из разряда "знает кошка, чье мясо съела". Во-вторых, мне лично думается, что порядочный человек не станет дружить с любовницей своего друга, прекрасно зная семью друга и его жену.