Не открывайте ему дверь. Он знает, что вы в квартире, видит свет. Позвоните, спросите, не он ли ломится в дверь, вы открыть не можете, так как в ванне, вторая ваша соседка спит, допустим, или дома её нет. В следующий раз - наоборот, соседка в ванне, вы спите. Предложите ему прийти в 8 утра, или когда вы там уходите, а утром уже при выходе из квартиры говорите, что утром попросили пораньше прийти на работу, какие у него вопросы, вы (одновременно натягивая куртку и сапоги) можете них ответить. И дверь у него перед носом закрываете и на работу убегаете. Камеры бы неплохо поставить.