Den 8. november 1929 ble Zaunius litauisk utenriksminister i statsminister Juozas Tūbelis' regjeringskabinett. I løpet av hans embetsperiode oppnådde litauiske diplomater en viss suksess ved Den faste domstol for mellomfolkelig rettspleie i Haag i saker mot Den andre polske republikk (angående jernbanetrafikk på Libau-Romny-jernbanen) og Weimarrepublikken (angående avskjedigelsen av Otto Böttcher, president for direktoratet for Memelstripen). Zaunius gjorde også fremskritt med å danne den baltiske ententen.