Agnes Alvsdatter stammet også fra kong Håkon 5.s frilledatter Agnes Håkonsdatter. Døpenavnet Agnes ble derfor holdt i hevd blant hennes etterkommere, og da Norge stod uten konge i 1448, ble Alv Knutssons grandonkel Sigurd Jonsson nevnt blant kandidatene til tronen, men var ikke interessert. Som sin far giftet Alv seg med en norsk kvinne, stormannsdatteren Magnhild Oddsdatter fra Voss, arving til Finne og mange andre gårder på Vestlandet. I sitt første ekteskap var hun gift med en ridder og lensherre i Gudbrandsdalen, Bengt Hartvigson. Han ble snart drept i et bondeopprør. Magnhild giftet seg igjen, med Sigurd Skaktavl fra storgården Grefsheim ved Mjøsa. De rakk å få sønnen Karl Sigurdsson før også denne mannen døde. Magnhild var enke to ganger da hun giftet seg med Alv Knutsson. De fikk datteren Karine og to sønner, Knut som var oppkalt etter sin farfar, og Odd som ble oppkalt etter morfaren. Familien bosatte seg på Grefsheim, midtveis mellom farens familie i Sverige og morens på Vestlandet. Ekteparet fikk innstiftet et eget alter for seg i Hamar domkirke, St. Annas alter, som de ga rikelige gaver til.