Меня только что осенило: ведь говорим же мы "ко мне", может и "ко врачу" имеет право на жизнь? Еще есть "ко святому причащению", "ко всенощной", уверена, еще можно много найти примеров "ко" со словами, начинающимися на 2 согласных. Может быть, "ко врачу" - не столько нелитературная форма, сколько устаревшая.