Как ,как? Открыто и лаконично. Я бы не  замалчивала,а коротко я ясно объяснила бы причины,если бы спросил. Он ,скорее всего,спросит,когда Вы откажетесь с ним встретиться, поэтому молча,по-английски, не стоит уходить, для Вас это не полезно. Всегда полезно для самоуважения не скрывать причин и выражать открыто свое мнение в таких ситуациях,-и Вы будете увереннее и ему урок.