Tidlig 1960-årene var han også med i heimevernet, selv om han senere skulle endre sitt personlige syn, og i 1965 søkte om overføring til siviltjeneste. Siviltjeneste skal ikke forveksles med nekting av verneplikt. Dørum har et tydelig ståsted når det gjelder allmenn verneplikt. Under Unge Venstres sommerleir 2003 forsvarte han dette med at vi trenger «vanlige» folk i forsvaret, og ikke bare forsvarsentusiaster.