Arnis Rumbenieks trat 2004 in seinen ersten Wettkämpfen als Geher an und gewann im Mai die Goldmedaille bei den Lettischen U18-Meisterschaften über 10 km. 2005 gewann er den mit Bestzeit von 45:13 min den Baltischen Geher-Cup in der Altersklasse U18. Anfang Juli bestritt er seinen ersten Wettkampf auf der 20-km-Distanz und absolvierte die Strecke in einer Zeit von 1:32:04 h. Zwei Wochen später trat er in Marrakesch bei den U18-Weltmeisterschaften an und belegte über 10.000 Meter auf der Bahn den neunten Platz. 2006 gewann er Anfang April bei seinem ersten Wettkampf überhaupt über 50 km die Silbermedaille bei den Lettischen Meisterschaften. Im Juni verbesserte er sich auf 43:20 min über 10 km, bevor er einen Monat später in Peking bei den U20-Weltmeisterschaften an den Start ging. Den Wettkampf konnte er schließlich nicht beenden. 2007 gewann er mit neuer Bestzeit von 1:27:00 h die Silbermedaille bei den Lettischen Meisterschaften über 20 km. Im Juli trat er in Hengelo bei den U20-Europameisterschaften an und belegte über 10.000 Meter den zehnten Platz. Auch 2009 konnte er mit neuer Bestleistung die Silbermedaille bei den nationalen Meisterschaften gewinnen.