Не хотите -- и не надо. По тексту непонятно, как они у вас появились, типа шли мимо, слово за слово и заглянули? В следующий раз -- "Ой, вы к нам зашли? а мы как раз спать ложимся (обедаем, говорим по телефону, читаем, делаем гимнастику, варим суп и ты ды), нам некогда. Пока-пока!" Доброжелательно и твёрдо.