I 1850 fikk Gram bygd Nidareid gård på Ilevollen, som ble regnet blant byens vakreste privatboliger. I de siste årene av sitt liv led han av mye sykdom. Etter hans død ble gården i 1887 solgt til lagmann Jacob Lindboe.