James Dole ble født 27. september 1877 i Jamaica Plain, Massauchusettes (nå en del av Biston) til en puritanerfamilie som hadde slått seg ned i landet i kolonitiden. Hans far var unitaristprest Charles Fletcher Dole og hans mor var Frances Drummond. Hans oldefar var Wigglesworth Dole (1779–1845). Hans morfar var også en prest, James Drummond. Da han vokste opp gikk han på Roxbury latinskole i Roxbury, Massachusetts, hvor han ble uteksaminert. I 1899 fikk Dole sin bachelorgrad i landbruk fra Bussey Institute ved Harvard University. Etter å ha fått 50 dollar i gave begynte Dole å spare penger til sin fremtidige virksomhet. Etter å ha økt sine sparepenger til 16 240 dollar, flyttet Dole til Honolulu, Hawaii, 22 år gammel. Han kom dit 16. november 1899, (da var Hawaii styrt av hans fetter Sanford B. Dole, etter den i 1893, styrtede dronning Liliʻuokalani. Han kjøpte et 64 acre (260 Km²) stort område fra regjeringen i de sentrale slettene av øya Oahu på . Etter å ha eksperimentert med et ulike vekster, begynte han med dyrking av ananas.