Silver var aktiv i Foreningen av ortodokse rabbinere i USA og Canada, valgt til dets president i 1929. Han var også en sentral grunnlegger, organisator og president av Agudath Israel of America, en haredisk eller ultraortodoks jødisk organisasjon. Han var en nær venn og kollega av rabbiner Yosef Yitzchok Schneersohn, den sjette , og hadde en omfattende brevskrivning med ham og senere med hans etterfølger, rabbiner Menachem Mendel Schneerson.