Su padre, James Gandolfini, Sr., originario de Borgotaro, Italia, era albañil y más tarde el guardián principal de la Paramus Catholic High School, Nueva Jersey; además, recibió el Corazón Púrpura en la Segunda Guerra Mundial.