Bjarni fæddist á Brautarholti á Kjalarnesi. Móðir Bjarna var Steinunn, dóttir Bjarna Pálssonar landlæknis og faðir hans Vigfús Þórarinsson. Vigfús varð sýslumaður í Rangárvallasýslu 1789 og sat á Hlíðarenda í Fljótshlíð og er Bjarni alinn þar upp. Hann lærði hjá einkakennurum undir stúdentspróf og lauk því 15 ára.