Han var født i Trondheim, men vokste opp på Grande i Ørland. Kommunens 100-årsberetning skriver at han vokste opp hos «morbroren Ole Svendsen» (1803–1854), mens bygdeboka mener at slektskapsforholdet er annerledes: Ole Svendsen er halvbror til Carls far Hans Hjort (1809–1875). I 100-årsberetningen omtales han som i ordførerlista, men som i et avsnitt om «Leiande menner i Agdenes».