Ingvaldsen satt i Høyres sentralstyre 1962–1974 og var 1. viseformann 1954–1962. Han var blant strategene bak å knytte Libertas-kretsen nærmere Høyre for å avhjelpe partiets økonomiske problemer. Da forholdet skapte konflikter i 1960-årene, var han blant de første til å gi partiorganisasjonen sin uforbeholdne støtte. For Libertas gjorde dette ham til en yndet skyteskive ved siden av C.J. Hambro og Alv Kjøs.