Man vet ikke sikkert når borgen ble påbegynt, men man antar at det var i 1290-årene under kong Håkon V Magnusson, (som også anla Båhus festning og Vardøhus festning). Det antas at borgen var ferdig 1300. Første gang Akershus er nevnt i skriftlige kilder er i 1300, i et brev fra kong Håkon til Mariakirken i Oslo. Brevet sier ikke noe om hvor langt byggearbeidene da var kommet.