Вы не отдалитесь. Он ведь приближается когда вы отдаляетесь, значит нужны ему. Просто не требуйте от него сейчас того что выше его сил. Переживите это спокойно. Он вам ведь не мешает изливать свои чувства на него, общаться как вы и привыкли, а то что он молчит в ответ, ну так потерпите немного.