Oluf Kalips var også selv gift to ganger. Hans første hustru var Birgitte Ivarsdatter (født i 1536 i Hedmark, død i 1566), som var datter av Iver Jenssøn til Fritsø, som tilhørte den danske adelsslekt Baden og døde i 1570, og Karen Olufsdatter Galde (født ca. 1515 i Tomb, død i 1565 i Oslo).