סבו של הנגבי מצד אביו היה חיים בג'איו, הרב האחרון והמנהיג האחרון של הקהילה היהודית-ספרדית בחברון, נצר למשפחת בג'איו, שמקורה מהעיר בז'ה בפורטוגל. במהלך מאורעות חברון, שכניו הערבים של הרב חיים בג'איו בחברון סיכנו את חייהם, והצילו אותו ואת משפחתו מרצח אפשרי. בעקבות המאורעות פונה הרב חיים בג'איו, ועבר להתגורר עם משפחתו בשכונת חצר בירושלים, שם חי עד סוף חייו.