Hans far, Charles E. Tuttle Sr., publiserte afrikansk-amerikansk litteratur og handlet med sjeldne bøker, og var aktiv i Vermont Historical Society. Tuttle ble utdannet ved lokale skoler i Vermont, Phillips Exeter Academy og ved Harvard University. På universitetet studerte han amerikansk historie og litteratur. Etter eksamen i 1937 arbeidet han ved biblioteket ved Columbia University i et år og gikk så inn i familiebedriften.