Agardh ble født i Båstad hvor faren, som kom fra Schleswig, drev handel. 1799 ble han student ved Lunds universitet og medstudent av Esaias Tegnér, og gitt i 1805 ut med graden . I 1807 ble han ansatt som dosent i matematikk, 1810 adjunkt og 1812 professor i botanikk og økonomi – en ikke uvanlig kombinasjon på den tiden. I ungdomsårene var han aktiv i kretsen rundt det nyromantisketidsskriftet , i åpen strid mot Svenska Akademien. Han var påvirket av den tyske filosofen Friedrich von Schelling.