Kolstad engasjerte seg tidlig i bøndenes forenings- organisasjonsarbeid og var blant annet formann i Tune Landmandslag, medlem av Landmandsforbundets landsstyre, formann i Landmandsforbundets avdeling i Østfold og styremedlem i Felleskjøpet. Han var medlem av Tune formannskap 1919–1922 og av herredsstyret 1922–1928. Kolstad spilte en viktig rolle for at Landmandsforbundet ble et politisk parti og var også sentral i debatten da forbundet ble delt i Norges Bondelag og Bondepartiet i 1922.