Он не может отпустить вас, вы его. Мало времени прошло. К тому же он явно надеется на примерение пока. Лучший способ вам уехать в отпуск, желательно одной, и все обдумать спокойно. Когда в душе вы примите окончательное решение он это тоже ощутит, а вас он перестанет раздражать, ну зашел и зашел, соседи ведь тоже иногда заходят.. А пока вы оба еще на что то надеетесь