พลเอกชาติชาย มีส่วนร่วมในการรัฐประหารในปี พ.ศ. 2490 โดยเป็นหนึ่งในกำลังทหารที่บุกไปที่ทำเนียบท่าช้าง เพื่อทำการควบคุมตัว นายปรีดี พนมยงค์ นายกรัฐมนตรี โดยขณะนั้นมีอายุ 27 ปี และการรัฐประหารในปี พ.ศ. 2494 ตามบิดา คือ จอมพลผิน ชุณหะวัณ ผู้เป็นหัวหน้าในการรัฐประหารทั้งสองครั้งนี้ โดยขณะมียศเพียงแค่ร้อยเอกเท่านั้น หลังจากนั้นเริ่มบทบาททางการเมืองอย่างแท้จริงในรัฐบาล จอมพลถนอม กิตติขจร ด้วยตำแหน่ง รัฐมนตรีช่วยว่าการกระทรวงการต่างประเทศ ต่อมาในปี พ.ศ. 2518 พลเอกชาติชาย ได้ลงสมัครรับเลือกตั้งได้เป็นสมาชิกสภาผู้แทนราษฎร จังหวัดนครราชสีมา และได้รับเลือกตั้งต่อเนื่องกันมาอีกรวม 5 สมัย พลเอกชาติชาย และได้เข้าร่วมในคณะรัฐมนตรีอีกหลายสมัย ในตำแหน่งรัฐมนตรีว่าการกระทรวงการต่างประเทศ รัฐมนตรีว่าการกระทรวงอุตสาหกรรม และรองนายกรัฐมนตรี