In 2012 behaalde Rapšys een bronzen medaille tijdens de 200 meter rugslag op de Europese kampioenschappen zwemmen jeugd 2012 in Antwerpen. In 2013 behaalde Rapšys een zilveren medaille tijdens de 100 meter rugslag op de Europese kampioenschappen zwemmen jeugd 2013 in Poznan, achter Grigori Tarasevitsj. Op de 200 meter rugslag was hij wel de beste en werd hij Europees jeugdkampioen. Op de Wereldkampioenschappen zwemmen jeugd 2013 behaalde hij de zilveren medaille op de 100 meter rugslag, achter Apostolos Christou. Samen met Rūta Meilutytė, Povilas Strazdas en Eva Gliozeryte behaalde hij ook zilver op de 4x100 meter wisselslag voor gemengde teams.