Hrelja es mencionado por primera vez en los años 1320 como el comandante de un destacamento militar serbio que estaba envuelto en la guerra civil bizantina. Con su destacamento, Hrelja ayudó al emperador bizantino Andrónico II Paleólogo. Por esa época, Hrelja ya era el gobernante de un gran dominio en la región de Štip (en la actual Macedonia del Norte) y al este de la ciudad; a principios de los años 1330, su dominio se extendió hasta incluir Strumica. En 1334-1335, Hrelja reconstruyó la iglesia del monasterio de Rila y construyó la llamada Torre de Hrelja, la torre defensiva del monasterio y su estructura más antigua que sobrevive actualmente.