Да, собственно, никак. Это же не договор купли-продажи. Всё верно вам покупатель говорит, аванс необходимо вернуть в полном размере. Надо было брать задаток (по нему вы так же бы отвечали в размере задатка за отказ от договора), тогда был бы другой разговор.