Так и ответить. С улыбкой, вежливо и очень конкретно. Поймите, вежливо, коротко и честно в таких ситуациях - гораздо правильнее, чем так, как сделали вы. Ответили бы сразу, что к вам домой невозможно, к сожалению - не было бы сейчас у вас головной боли.