イングランド系アメリカ人
シルバーはアメリカ合衆国のミシガン州イーストランシングにて、ミシガン州立大学の政治学部元部長ブライアン・D・シルバーとコミュニティ活動家サリー・スラン・シルバーの息子として出生した。父親はユダヤ人の子孫（ユダヤ系アメリカ人）、母親はアルコア汽船会社の社長を務めた曽祖父ハーモン・ルイスを含めて複数の著名人を抱える非ユダヤ系かつイングランド人とドイツ人の子孫（イングランド系アメリカ人とドイツ系アメリカ人）である。そのためにシルバーは自身を「半ユダヤ人」だと主張している。