http://www.gramota.ru/spravka/letters/?rub=rubric_4823.1.4. Все прочие мужские фамилии, имеющие основы на согласные и нулевое окончание в именительном падеже (на письме они кончаются согласной буквой, ь или й), кроме фамилий на -ых, -их, склоняются как существительные второго склонения мужского рода, т. е. имеют в творительном падеже окончание -ом, (-ем): Герценом, Левитаном, Гоголем, Врубелем, Хемингуэем, Гайдаем. Такие фамилии воспринимаются как «нерусские».Поэтому, правы ваши оппоненты.