Hans første forsøk på å skrive poesi og rim på litauisk ble funnet i hans dagbøker. Senere gikk han på en ungdomsskole i Rumšiškės. I løpet av denne tiden skrev han sine første dikt på polsk.