De ascendência alemã, o pai de Schwarz, Ernst, foi um dos 30.000 judeus apreendidos durante a Noite dos Cristais. Foi preso no campo de concentração de Buchenwald até que sua mulher, Elaine, conseguiu um visto para viajar para o exterior. Após sua libertação do campo, o casal fugiu para a Inglaterra, onde nasceu o irmão mais velho de Gerald, Maurice. Em novembro de 1939 Ernst, Elaine e Maurice chegaram aos Estados Unidos, eventualmente se estabelecendo em Portland, Oregon. Gerald nasceu sete anos depois. Ele passou a infância em Portland, depois mudou-se para Cambridge, Massachusetts, para frequentar a escola.