王时敏的祖父王锡爵，为万历年间内阁首辅，人称文肃公，他的父亲王衡是万历二十九年进士，任翰林院编修