Sammen med sin bror Ebbe Skjalmsson grunnla Asser Sorø kloster, et benediktinerkloster hvor han levde sine siste år som munk. Han døde i 1151, rundt 70 år gammel, mens hans hustru døde i 1157, rundt 57 år gammel.