国着名公子信陵君魏无忌之后，这一支因是王族之后，故改姓王。北周同州刺史王罴为王徽十代祖，其后人后来效力隋朝和唐朝。王徽祖父王察为连州刺史，父王自立为缑氏令。
早期仕途.唐宣宗大中十一年（857年），王徽中进士，任秘书省校书郎。户部侍郎沈询判度支，辟王徽为巡官。当时宣宗正为女儿们挑选合适的驸马，要求宰相们观察中进士的官员，王徽被提名。但他不想与皇室结亲，见宰相刘瑑，以年龄为由辞让，因为他已经四十多岁且多病。刘瑑告诉了宣宗，王徽因而没有被命令娶公主。宣宗子唐懿宗年间，前宰相令狐绹历