Oluf Kolsrud var sønn av Knut Nilssen Kolsrud (1861–1937) og Berte Maria Olsdatter Bakke (1855–1940). Faren var gårdbruker og lærer. Nils Oluf var bror av den senere språkprofessor Sigurd Kolsrud (1888–1957), og giftet seg i 1911 med Borghild Nettum (1850–1931).