Candolles familie nedstammet opprinnelig fra en av de gamle familiene som var bosatt i Provence i Frankrike, men som hadde flyttet til Genève på slutten av det 16. århundre for å unnslippe religiøs forfølgelse fra myndighetene og kirkens menn. I en alder av syv år fikk Candolle et alvorlig tilfelle av hydrocephalus, som i betydelig grad påvirket store deler av hans barndom. Han skal likevel hatt en stor evne til læring og han kunne meget lett ta til seg kunnskap. Candolle viste store egenskaper innenfor litteratur og han hadde en stor evne til å skrive dikt.