Fra Håkon Vs tid har vi bevart seks kongebrev som kongen skrev på Avaldsnes. Kong Håkon V Magnusson nevner også kongskirken på Avaldsnes i sitt testament. Et annet samtidsdokument er beskrivelsen av at hanseatene brente ned kongsgården på Avaldsnes, sålehuset som drottseten hadde satt opp og andre gårder langs Karmsundet. Dette skjedde høsten 1368. Konsgården må likevel ha blitt gjenoppbygget, fordi andre kilder beskriver Avaldsnes som kongsgård fram til ca. 1450.