祖父皇甫棱，曾任度辽将军；父亲皇甫旗，任扶风都尉