66时，这地方也叫「」。
14世纪.1366年的《阿尔霍尔姆条约》提及的「hus」是埃尔夫斯堡的第一个堡垒，表示该堡垒于1366前已经建立。堡垒以木建成。哈康·马格努斯曾把这堡垒区变卖，1370年付清债项后才重得堡垒。后来，玛格丽特一世于1377年再次把它变卖。
15世纪.恩厄尔布雷克特起义期间，起义军攻佔了埃尔夫斯堡，但卡尔·克努特松·邦代领导的民众没有（像其他城堡般）把它烧毁。1439年，挪威将领约翰·乌姆雷瑟出兵包围了埃尔夫斯堡。然而，由于瑞典守