Han vokste opp på småbruket Østre Rol (Nygjerdet) ved Børgin som eldste sønn av Ola Ramstad og Kirsten Oxaal. Han hadde en yngre bror, Jon Ramstad, som ble rektor og ordfører i Levanger. Ivar Ramstad gikk Sund folkehøgskole og Mære landbruksskole, og overtok gården. Han var også forretningsfører for Inderøy branntrygdelag, som gikk inn i Gjensidige Forsikring, hvor Ramstad ble daglig leder ved kontoret i Steinkjer. Han ble gift og fikk barn.