Rinaldo Conti tilhørte samme slekt, grevene av Segni, som pavene Innocens III og Gregor IX. Han ble gjort til kardinaldiakon i 1227 av sin onkel Gregor, og fire år senere til kardinalbiskop av Ostia. Gregor etterlot også fransiskanerordenen ved sin død, der Conti fikk 80 gode venner. Ved Innocens IVs død i Napoli den 7. desember 1254 ble den aldrende kardinal Conti enstemmig valgt til hans etterfølger. Han tok da navnet Alexander IV. miniatyr|200px|venstre|Alexander godkjenner augustinerordenen. Fresko i San Marco i Milano, utført av brødrene Fiammenghini. Matthew Paris har beskrevet Alexander IV som velvillig og religiøs men lett å forlede med smiger. Enkelte kardinaler forsøkte å overtale paven til å fortsette forgjengerens politikk mot keiser Fredrik II av Det tysk-romerske rike, inkarnert i sønnesønnen Konradin i Tyskland og sønnen Manfred i Puglia; Fredrik II hadde blitt bannlyst og erklært avsatt ved det første konsil i Lyon i 1245. beskriver Alexanders politiske stillingstagen som "med hele gjengen av Hohenstaufere fortsatte han Innocens' tvilsomme politikk med å tilkalle franske eller engelske smådjevler for å slå ned de tyske satanene".