Kolsrud var født på Østre Toten, og var bror av professoren i teologi og kirkehistorikeren Oluf Kolsrud. Sigurd Kolsrud var far til professoren i etnologi Knut Kolsrud og professoren i teoretisk fysikk Marius Kolsrud, og bestefar till den svenske professoren i matematikk Torbjörn Kolsrud.