Pundzius Werke wurden seit 1930 auf Ausstellungen gezeigt. Er schuf Porträtbüsten von Mikas Petrauskas (1932, vor dem Staatlichen Theater in Kaunas), Maironis (1933) und Lenin (1940). Er gestaltete Grabdenkmäler in Helsinki (1933). Sein Projekt für ein Denkmal für Darius und Girėnas gewann 1937 bei einem Wettbewerb den ersten Preis, wurde aber nicht realisiert. 1937 schuf er die Monumentalskulptur "Drei Riesen" in Kaunas. 1943 meißelte er das Relief von Darius und Girėnas in den Puntukas-Findling bei Anykščiai. 1946 schuf er die Bronze-Skulptur "Der Sturm" für Meltschakows "Ehrenmal der 1200 Gardisten" der 11. Gardearmee für die Gefallenen des Sturms auf Königsberg im späteren Kaliningrad am Gwardeiski Prospekt. Für die wieder aufgebaute Grüne Brücke in Vilnius von der Altstadt nach Šnipiškės schuf er 1952 die Gruppe "Auf Friedenswacht", die 2015 zusammen mit den anderen drei Skulpturen "Landwirtschaft" von Bernardas Bučas, "Die studierende Jugend" von Juozas Mikėnas und "Industrie und Bauwirtschaft" von Bronius Vyšniauskas und Napoleonas Petrulis als Symbole der Sowjetherrschaft im Stile des Sozialistischen Realismus von der Brücke entfernt wurde.