Попробуйте просто не отвечать, может само рассосется. Если он тоже в душу не против закруглить, долго названивать в пустоту не будет. Если все же спросит, в чем дело, напишите смс, что нет времени сейчас. Если не глупый, поймет все сам. А если и это не поможет, напишите смс из серии "мы не очень подходим друг другу, но было приятно и удачи". Я обычно по такому алгоритму шла)