Gabriel Kirsebom Kielland var sønn av kjøpmann Jan Kielland og Anna Dorthea Kielland, født Kruse. Han gikk på skole i Stavanger fra han var 6 år gammel, og på skolen var han flittig og viste gode evner. På grunn av farens dårlige økonomi kom han ikke inn på sjøkadettakademiet, men fikk i stedet mer utdannelse i matematikk, fransk og tegning. Fra 1810 begynte han ved Herulfsholm skole i Danmark, og begynte seinere på Københavns Universitet. Her tok han eksamen artium i 1816, og han hadde lyst til å fortsette studiene i København, men etter morens ønske kom han hjem til Stavanger. I 1817 reiste han til Kristiania, hvor han i 1818 tok med laud prae ceteris.