Borgen ble på nytt beleiret i 1523, denne gangen av svenske soldater. Under dekke av grevefeiden i Danmark forsøkte Gustav Vasa å sikre seg kontrollen over Norge. For å nekte fienden husvære brente Oslos befolkning sine hus og de svenske soldatene måtte kort tid etter vende hjem med uforrettet sak.