Selmer var sønn av professor Ernst Westerlund Selmer og bror til jusprofessor Knut S. Selmer.