Sirvydis wurde in der Nachwuchsabteilung von Lietuvos rytas ausgebildet, erste Einsätze in der Profimannschaft erhielt er im Spieljahr 2016/17. Zwischen 2016 und 2019 sammelte der Flügelspieler Erfahrung in der Ausbildungsmannschaft Lietuvos rytas’, Vilniaus Perlas, in der zweiten Liga Litauens. 2018 wurde er als bester Spieler des Finalturniers des U18-Wettbewerbs der Euroleague ausgezeichnet. Im Juni 2019 sicherten sich zunächst die Dallas Mavericks die Rechte an Sirvydis beim Draftverfahren der NBA, gaben diese jedoch anschließend an die Detroit Pistons ab. Es wurde vereinbart, dass der Litauer zunächst nicht in die Vereinigten Staaten wechseln, sondern seine Laufbahn vorerst in seinem Heimatland fortsetzen würde. Im Dezember 2020 nahm ihn Detroit dann unter Vertrag.