Jakob Nielsen regnes som byggmester til den første borgen. Han ankom Oslo i 1289, da jarl Alv Erlingsson året før hadde brent byen og drept kommandanten på kongsgården. Hertug Håkon Hålegg (1270–1319) ville bygge en mur rundt byen, men jarlen avviste denne planen. Han pekte i steden på Akersneset. Den høye knausen og den bratte skrenten ned til fjorden utgjorde i seg selv en naturlig hindring. Myrene østover mot Ekeberg hindret et stormløp derfra, og fra nord var atkomsten bare en smal åskam som kunne forsvares.