Håkon Håkonsson sto senere for byggingen av Olavskirken på Avaldsnes rundt 1250 da norgesveldet var på sitt største. I et pavebrev av 1247 heter det at kong Håkon Håkonson selv skal få rett til å velge prester til de kirker han og hans forfedre har reist på sine tre kongsgarder, og til dem han selv kommer til å grunnlegge. Ved alle andre kirker hadde biskopene denne retten. Håkons sønnesønn, Håkon V Magnusson gjorde siden Olavskirken til en av de fire kongelige kollegialkirkene i Norge. En kollegialkirke var et sted der kongen kunne utdanne sine egne kongetro prester og rådgivere. De andre kollegialkirkene lå i Oslo, Bergen og Tønsberg. I dag er Olavskirken på Avaldsnes den eneste kollegialkirken som fremdeles står.