Han var sønn av sogneprest Jens Ludvig Olsen (1816–1866) og Vally Caroline Juell (1832–1906), søster av Minda Juell Gulbranson. Han var bror av overlege Fredrik Gottlieb Ramm og forfatter og litteraturkritikker, Minda Olava Ramm.