משפחתו הייתה אחת המשפחות הנכבדות בקרב יהודי אנגליה של ימי הביניים, רבים מבני משפחתו החזיקו בעמדות מפתח בקהילה גם בדור שלאחריו, עד גירוש יהודי אנגליה בשנת 1290. מוצא המשפחה, בניגוד לרוב המשפחות היהודיות באנגליה בתקופתה, היה מחבל הריינוס ולא מצרפת. אבי המשפחה היה רבי שמעון בן יצחק בן אבון, הנודע בשם "רבי שמעון הגדול ממגנצא"; נכד נינו, משה בן יצחק בן שמעון, היה היהודי הראשון מבני המשפחה שידוע כי התגורר באנגליה. הוא ניהל את עסקיו בבריסטול ואחר כך באוקספורד במחצית השנייה של המאה ה-12. בנו יום טוב המשיך בעסקיו אך הקדיש את רוב זמנו ללימוד תורה וחיבר ספר בשם "ספר התנאים" שאבד ועסק כנראה בהלכה ובדקדוק עברי.