Sexe kom fra en av Seksegårdene ved Sørfjorden i Hardanger, og lærte seg som gutt matematikk på egen hånd. I 20-årsalderen ble han kjent med læreren Lyder Sagen i Bergen, som fattet interesse for ham og skaffet ham hjelp til å studere.