Był najstarszym synem cesarza Konstansa II i jego żony Fausty. Ojciec uczynił go współcesarzem w 654. Po śmierci ojca pokonał uzurpatora Meziziosa. Początkowo współrządził z braćmi Teodozjuszem i Herakliuszem. W 681 roku usunął ich i skazał na karę hańbiącą obcięcia nosa. Ostatecznie po pięcioletnich (674–678) walkach obronił Konstantynopol przed Arabami (podczas tego oblężenia Bizantyjczycy zastosowali pierwszy raz słynny ogień grecki). Rozbił ich flotę i zawarł z nimi pokój, który został odnowiony w 685 roku. W 681 roku. zawarł pokój z Protobułgarami, którzy przekroczyli Dunaj i osiedlili się na ziemiach dzisiejszej Dobrudży. Data ta jest uważana za początek istnienia państwa bułgarskiego. Z inicjatywy Konstantyna IV zwołano w 680 roku sobór konstantynopolitański III.