Не открывайте ему дверь. Не будет же он под дверью вас караулить. Попробует пару раз толкнуться, а "вас нету". Ну и все кончится. Ни к чему эти выносы мозга. Если придет на работ, посидите где-нибудь в кафе. Скажите ему те слова, что вы написали в самом начале (Только без признаний в любви.) Мол, не хочу и не могу, извини, прости-прощай.