Ole Colbjørsen vokste opp i Risør. Han kom fra enkle kår og måtte få innvilget friplass for å kunne begynne på byens middelskole. Colbjørnsen fikk hjelp til å ta høyere utdannelse. I 1913 fikk han, takket være et lån av to lokale handelsmenn i Risør, mulighet til å reise til Christiania for å ta examen artium ved Ragna Nielsens privatgymnas. Deretter studerte han realfag under Carl Størmer og Lars Vegard. Colbjørnsen fattet interesse for Einsteins teorier og introduserte relativitetsteorien for et norsk publikum. Colbjørnsen behersket relativitetsteorien før de eldre, etablerte fysikerne og var den drivende kraft bak Einsteins besøk i Oslo sommeren 1920.