Nelson es hijo de Merle, una mediadora de la corte y que también fue miembro de la legislatura del estado de Maine, y Leonard Nelson, abogado que además fue el primer presidente judío de la Orquesta Sinfónica de Portland.