Я тоже состою в группе, где из полсотни человек есть те, кто под номером телефона. Мне пофик. Никакого неудобства. Почему вам должно быть неудобно? Обращаётесь к нему по номеру телефона. Пусть он (номер) испытывает неудобства, а не вы.