Asser Rig tilhørte dermed Hvide-slekten, en mektig adelsslekt i Danmark på 1100- og 1200-tallet. Tidligere tiders historikere mente at Hvide-slekten nedstammet fra sagnhelten Palnatoke, kjent fra , men dette er uklart. Etter sin fars død rundt 1114 arvet Asser sin del av eiendommen, og ble dermed en rik mann, som i sitt tilnavn «Rig». mini|left|En kvinne og en mann på et kalkmaleri i Fjenneslev kirke. Muligens en fremstilling av Asser Rig og Inger hvor de gir kirken i gave til Gud. Asser ble oppdratt sammen med den senere danske kongen Knud Lavard, og selv var han senere fosterfar for Knuds sønn Valdemar som også ble konge.