Aunque no recibiera ninguna educación refinada (de lo cual más tarde se burlaría su yerno Constantino VII), Romano avanzó en las filas del ejército durante el reinado del emperador León VI el Sabio, que también era de orígenes armenios.