Сейчас звоните и отказываете, сразу говорите, что дверь НЕ откроете и домой НЕ пустите. Если будут долбить в дверь, открываете и закрываете. Или не открываете... В туалет, пускай сами ищут, сейчас это не проблема. Не можете отказать или не пустить, тогда терпите. Надо сказать жестко, потом заблокировать. Когда хочется или нужно, сразу все получается. Вы затянули ситуацию, поэтому тихо не получится, только через скандал.