Odd Børretzen bodde de siste årene av sitt liv i Holmestrand, der hans stampub er oppkalt etter ham. Han levde i over 30 år sammen med billedhuggeren Eva Bødtker-Næss, som er hans andre ektefelle, i Tønsberg.