Colban var sønn av kaptein Erik Andreas Colban og Caroline Emilie Biermann. Han tok i 1895 examen artium og begynte deretter studier i juss, som han fullførte med graden cand.jur. i 1899. Etter endt utdannelse gjennomførte Colban 1905–1906 studieopphold i utlandet.