Als Sohn des Berufsoffiziers Major Johann Groller von Mildensee wählte auch er die Offizierslaufbahn und trat im Alter von 20 Jahren in das 6. Artillerie-Regiment der k.k. Armee ein. Ein Jahr darauf nahm er am Feldzug von 1859 in Italien teil. Von 1864 bis 1866 absolvierte er einen Offizierslehrgang an der Theresianischen Militärakademie in Wiener Neustadt. 1885 wurde Groller in das Militärgeographische Institut versetzt und machte sich 1888 um die genaue Vermessung der österreich-ungarisch-rumänischen Grenze verdient. Im Jahr 1890 erfolgte die Ernennung zum Leiter der Topographischen Abteilung des Militärgeographischen Instituts. 1896 wurde er schließlich im Rang eines Obersts in den Ruhestand versetzt. Seine Frau, Emma von Groller († 1922), machte sich ebenfalls als Archäologin einen Namen, hier vor allem bei der Ausgrabung von drei Grabhügeln in Donnerskirchen in den Jahren 1910 und 1911.