Romanos Diogenes var sønn av Konstantin (død 1032) og var født inn i den fremtredende og mektige Kappadokia-familien som tilhørte den aristokratiske adelen i Lilleasia. Hans mor var datter av Basileios Argyros, bror av keiser Romanos III . Han gikk inn i det militære og steg raskt i gradene på grunn av sine personlige egenskaper. Han tjenestegjorde ved Donau, på imperiets nordgrense. Han ble i 1067 dømt for forsøk på å tilrane seg tronen fra sønnene til den nylig avdøde Konstantin X Dukas. I stedet for straff ble han imidlertid innkalt til enkekeiserinne Eudokia Makrembolitissa og hun opplyste at hun hadde tilgitt ham og at han slapp straff, og dessuten at hun ønsket å gifte seg med ham og utnevne ham til regent for sine sønner. Hun gjorde dette primært fordi hun forsto at hun trengte en sterk og mektig mann for å holde på makten, men også fordi hun var betatt av den populære Romanos. Hennes beslutning ble godt mottatt ettersom alle nå så faren for at de muslimske seldsjukkene skulle ekspandere videre inn over imperiets grenser i øst. De hadde allerede inntatt den viktige byen Kayseri (Caesarea Cappadociae) i Anatolia i det sentrale nåværende Tyrkia og man forsto at hæren måtte settes under kommando av en dyktig og energisk general.