Если он хранит ваш телефон или прочие контакты у себя в адресной книге и у вас есть аккаунт - то да. Но в чем проблема? Вас никто не заставит с ним общаться, можете не просто не отвечать на дружбу, а занести в черный список. Если у вас нет аккаунта, то какие проблемы?