Som dikter foretok Syvertson en oversettelse av Tegnérs (1835), og offentliggjordet en rekke dikt under pseudonymet «Urdsongis». Etter hans død lot broren Ole Sivertson i 1848 trykke et utvalg av diktene sammen med en biografi over dikteren. Han huskes kanskje best for sine dikt om Polens sak: «Polonia», «Grevinde Platers Kampsang» og «Grevinde Platers Kampbøn».