Han var sønn av fysikeren Gabriel Holtsmark og Margrethe Weisse. Gjennom faren ble han tidlig interessert i fysikk og deltok allerede 1907 i (ble senere til Norsk Fysisk Selskap) hvor han senere ble leder (1958–60). Han tok examen artium i 1911 ved Kristiania katedralskole og begynte å studere ved Det Kongelige Frederiks Universitet samme år. Etter ett år reiste han til Würzburg for å studere under Wilhelm Wien. Dette resulterte i en publikasjon om lysutsendelse fra hydrogen indusert ved katodestråler. Han tilbrakte lignende studieopphold under Vilhelm Bjerknes i Leipzig og Peter Debye i Göttingen. I 1918 mottok han en dr.philos. grad uten å ha avlagt en normal embetseksamen med en eksperimentell avhandling om intensitetsforløpet i seriespektra fremkalt ved katodestråler. Et meget godt bilde han på denne tiden gjorde av absorpsjonsspektrumet til natrium, ble benyttet som en sentral illustrasjon i boken av Arnold Sommerfeld fra første utgave i 1919. På den tiden var dette den viktigste lærebok i atomfysikk som fantes.