מאז הכיבוש הערבי במאה ה-7, ועד לשנות השבעים של המאה ה-11, היו חברי הישיבה משתתפים בסוכות בירושלים בראש המעמד השנתי בהר הזיתים. דבר שהיווה ביטוי נוסף לסמכותם ומרכזיותם ולו הסמלית בקרב העולם היהודי.
בבבל הייתה חלוקת תפקידים בין הגאונים ובין ראשי הגולה. מאידך, אחר ביטול הנשיאות בארץ ישראל בתחילת המאה ה-5 הנהיג את היישוב בארץ ראש הישיבה שהיה גם ראש הסנהדרין וגם הנציג המדיני כלפי השלטונות. מסיבה זו נחשבה הישיבה הן בעיני השלטונות והן על ידי היהודים להנהגתם הרשמית של היהודים הרבניים באזור ארץ ישראל וסוריה רבתי, ואפילו מצרים. ראשי הקהילות באזורים אלה היו הדיינים, חברי הישיבה, שהתמנו לתפקידיהם בידי הנהגת הישיבה. פקידי הקהילות – החזנים, הסופרים, הפרנסים, השוחטים והמוהלים, התמנו לתפקידיהם על ידי ראשי הקהילות מכוח סמכותם וסמיכתם שבאו להם מראש הישיבה שכונה על ידם בתואר גאון.
ב"ישיבת ארץ ישראל" הייתה קיימת מעין סנהדרין גדולה וסנהדרין קטנה.
העומד בראש בית הדין הגדול - אב בית הדין, היה מכונה גם בשם "אב בית דין של כל ישראל.
מתחתיו, סגנו של הגאון וממלא מקומו אחריו כונה - ה"אב".
את מוסד "ישיבת ארץ ישראל" ניהלו הגאון, סגנו "האב" ועוד 5 חברים סה"כ וועד של שבעה. בין הכינויים הרשמיים שלהם ידועים השמות: "חבורה" או "חבורת הצדק" כקיצור לשם ישיבת ארץ ישראל.
בישיבת ארץ ישראל כמו בישיבות שבבבל, הבדילו בין "בני סנהדרין" - חברים מוסמכים לבין "בני תורה" - חכמים שעדיין לא הוסמכו.
הקשר עם התפוצות.
יהושע הורוביץ כתב כי "יהודי התפוצות ובמיוחד יהודי מצרים ואיטליה תמכו בישיבת ארץ ישראל מבחינה כלכלית, וכן ידוע שהממשלה במצרים - שארץ ישראל הייתה כפופה לה - הייתה בתקופה מסוימת מפרנסת את צורכי הישיבה ועל ידי כך לא הייתה הישיבה זקוקה לנדבות. מאידך יש מקום להניח שבני ארץ ישראל שלחו נדבות לישיבות שבבבל. בתקופת הגאונים רב שרירא ורב האי, חלה התרופפות בתמיכת ישיבות בבל וגם קהילות ואנשים פרטיים שלחו נדבותיהם לישיבת ארץ ישראל".
ממקורות הגניזה הקהירית ומקורות של חכמי אשכנז ידוע לנו כי אלו פנו רבות בשאלות ותשובות לחכמי ישיבת ארץ ישראל. לדוגמה קבוצת שאלות ותשובות משנת 1071 בהן חתומים ר' אליהו הכהן גאון ובנו ר' אביתר גאון שהוזכרה במחזור ויטרי בתור "רבי משולם בן משה שאל את פי אריות יושבי ירושלים עיר הקודש". למעשה נסמכה המסורת האשכנזית במידה רבה על המסורת הארץ ישראלית ובכך נבדלו במסורתם ממסורת יהדות בבל שהיוותה את הבסיס למסורות של יהודי ארצות המזרח ואגן הים התיכון.
תחלופת המכתבים של השאלות ותשובות היוו אחד ממקורות הכסף של מוסד זה דרך נוספת הייתה באמצעות שליחת שד"רים.
אהרון בן מאיר והמחלוקת על קביעת לוח השנה.
אחד מגאוני ארץ ישראל הידועים הוא ר' אהרון בן מאיר. בין פעולותיו הציבוריות הבולטות הייתה המלחמה נגד הקראים שבתקופתו היה להם ולתנועתם משקל רב. בן מאיר היה מעורב גם בהליכי בחירת הגאון בבבל לאחר פטירת ר' יהודאי גאון. במיוחד מוכרת המחלוקת הקשה שהייתה בינו לבין חכמי בבל בראשות רס"ג וראש הגולה דוד בן זכאי, מחלוקת על קביעת התאריך העברי באותן שנים. בן מאיר הורה לתלמידיו לחגוג את המועדים כפי הוראתו, אך חכמי בבל, ובראשם ראש הגולה דוד בן זכאי ורב סעדיה גאון כתבו לו כי טעות בידו. כתוצאה מכך פסח נחגג בארץ ישראל ביום ראשון, ובבבל ביום שלישי. בתגובה לטענת חכמי בבל, קבע בן מאיר כי הסמכות לקבוע מועדים ולעבר את השנה נתונה לחכמי ארץ ישראל בלבד, ועל כן פסיקתו מוסמכת יותר משל בן זכאי ורס"ג. בעקבות המצב שנוצר בו יהודים באזורים שונים חגגו מועדים בזמנים שונים, הזדעזעו חכמי בבל מהפילוג וניסו לשכנע את בן מאיר לחזור בו והפיצו בקהילות שונות מכתבים המזהירים שלא לנהוג כשיטת בן מאיר, וכן פרסמו את "ספר המועדים" נגד שיטתו, אך בן מאיר התעקש ואף פרסם גרסה משלו לכללי "ארבעה שערים" בה הוא מגן על עמדתו. מצב בלתי-אפשרי זה הוביל את רב מבשר ותומכיו, שעד עתה צידדו בשיטת בן מאיר, לעבור לצד של רב סעדיה גאון וחכמי בבל.
חליפות המכתבים בין הצדדים הניצים לא פסקו, וחכמי בבל כתבו לבן מאיר וניסו לפייסו לחזור בו ("נעשינו חרפה בגויים וקלסה בין המינים"; "אבלים נזופים בבכי תמרורים ואנחה", ועוד), אך בן מאיר לא חזר בו והשיב להם במכתב כי "אף אילו נהרגנו ואלף כמותנו, לא נשנה מנהג אבותינו ולא נחליף חוק... יש הרשות לחבורת ארץ ישראל על חכמי בני הגולה, ואין לבני הגולה רשות על בני ארץ ישראל..." בהמשך מכתבו זה טוען בן מאיר כי רב סעדיה גאון אשם במחלוקת שפרצה.
לא ידוע כיצד מחלוקת זו הסתיימה, אך ידוע כי בשנת ד'תרפ"ג (923) עוד היה הבדל בין זמן חגיגת המועדים, ולעומת זאת בשנת ד'תרפ"ד הם כבר נחוגו באותו זמן בבבל ובארץ ישראל.
מקומה של הישיבה ונדודיה למקומות שונים.
במהלך המאה השלישית עברה לטבריה הסנהדרין בהנהגת רבי יהודה נשיאה, וזאת בהשראת רבי יוחנן גדול אמוראי התקופה, שקבע בה את מושבו. זו הייתה תחנתה האחרונה של הסנהדרין.
מהמאה השלישית, ועד כיבוש הארץ על ידי הערבים בשנת 638 הייתה טבריה מרכז היישוב היהודי בארץ ישראל. בטבריה נערך ונחתם התלמוד הירושלמי במהלך המאה הרביעית לספירה, ובה פעלו גדולי האמוראים בתקופה זו - ר' יוחנן, ריש לקיש, רבי אמי ורבי אסי. בעיר פעלו בתי מדרש ובתי כנסת, והתקיים בה רוב יהודי. בשנת 425 נפטר בעיר רבן גמליאל השישי. הקיסר תאודוסיוס השני מנע מינוי של יורש ויהודי הארץ אכן לא מינו נשיא חדש תחת רבן גמליאל. כתוצאה מכך התבטל התפקיד ותקופת הנשיאות תמה. לפיכך טבריה הייתה מקום מושבה האחרון של הסנהדרין. רבי יוחנן שערך את התלמוד בטבריה אף אמר כך:
בשנת 520 התיישב בטבריה מר זוטרא בר מר זוטרא מראשוני הסבוראים שהיה בנו של ראש הגולה בבבל המיוחסים אף הם לבית דוד, והוא וצאצאיו אחריו, במשך שבעה דורות, עמדו בראשות הנהגה התורנית. זו למעשה הייתה תחילתה של הישיבה הארצ-ישראלית ובכך היוותה כממשיכתה הסמלית של מוסד הסנהדרין. למעשה ישבה הישיבה בטבריה זמן כה רב עד שגם כאשר היא עברה לירושלים היו נקראים לעיתים ראשיה בשם "גאון טבריה".
על קורות טבריה ויצירתה התרבותית יש לציין שבשלהי השלטון הביזנטי ניסה יהודי בשם בנימין מטבריה לחבור אל האימפריה הסאסאנית ולהקים אוטונומיה יהודית בארץ ישראל. באירוע הקרוי "מרד הרקליוס" שאירע בין 613–617 לספירה, מרדו יהודי ארץ ישראל בקיסר הרקליוס. על אף שהמרד הצליח, שבו היהודים וחברו להרקליוס, ובשנת 625 כבשו הביזנטים את הארץ מחדש. בשנת 628 הגיע הרקליוס לארץ ישראל, ביקר בטבריה, ושם חזר על הבטחתו לחוס על היהודים. אך משהגיע לירושלים, בלחץ גורמים נוצריים, הפר את הבטחתו וטבח ביהודים, עד כדי כך שמכל יהודי טבריה נותר אך בנימין, שקנה את חייו בכך שהתנצר.
במהלך המאה השמינית החריב את העיר רעש אדמה גדול המכונה רעש שביעית. תיארוכו של הרעש נע בין 745 ל-749 לספירה. היסטוריון בן הזמן בשם "מיכאל הסורי" מספר כי ברעש חרבו שלושים בתי כנסת בטבריה, מה שמראה על חוזקו ושגשוגו של היישוב היהודי בעיר בתקופה זו.
בעיר קמו פייטנים, שהמשיכו את דרכו של אלעזר הקליר שכנראה חי בעיר במהלך המאה ה-7 מעט לפני הכיבוש הערבי. כן פעלו בעיר במאה ה-10 אסכולות מדקדקים ונקדנים מפורסמים, בעלי המסורה כאהרן בן אשר ומשה בן נפתלי שפיתחו בעיר את הניקוד הטברני, שנחשב לשיטת הניקוד התקנית בשפה העברית למן המאה ה-10 ואילך. בסמוך לשנת 920 נכתב בעיר כתר ארם צובא כתב היד החשוב המהווה את הנוסח הנחשב למדויק ביותר של התנ"ך.
סביר להניח שבמרבית הזמן הנ"ל התקיימה הישיבה הארצישראלית בטבריה וכנראה גם בזמן החכמים ממשפחת בן מאיר ביניהם מפורסם אהרן בן מאיר גאון.
לא ידוע מתי בדיוק עברה הישיבה הארצישראלית מטבריה אך ידוע כי בשלבים שונים היא נדדה בין כמה מקומות בהם רמלה וירושלים. ישיבתה בטבריה קשורה גם בכך שמרבית היישוב היהודי בתקופות אלה היה מצוי בגליל בעוד שבירושלים וסביבתה לא הצליח להתקיים יישוב יהודי של ממש.
במשך המאה ה-11, הישיבה נדדה בין ירושלים ורמלה גם כאן נדודיה היו בשל המלחמות והמצב הקיומי הרעוע ששרר בתקופה זו. בין ראשיה נמנו החכמים יוסף בן מנחם הכהן סג'למסי - משנות ה-90 של המאה ה-10 ועד לשנת 1027 (בשנים 1020–1025 הייתה הישיבה ברמלה). ר' שלמה בן יהודה - בשנים 1025–1051, ר' דניאל בן עזריה הבבלי -1051–1061, ר' אליהו בן שלמה הכהן - בשנים 1062–1083.
בשנת 1073 נכבשה ירושלים על ידי גדודים של סלג'וקים שחדרו לארץ מסוריה. העיר ככל הנראה נכנעה ללא קרב והטורקמנים השליטו משטר של טרור ומעשים של רצח ושוד היו עניין שכיח, ניסיון התקוממות של תושבי העיר בשנת 1077 נכשל והסלג'וקים טבחו בנכבדי ירושלים. בעקבות מצב זה נדדה הישיבה לצור.
ישיבת ארץ הצבי בלבנון סוריה ומצרים.
לאחר כיבוש ירושלים על ידי הסלג'וקים עברה הישיבה בראשות ר' אליהו בן שלמה הכהן לצור ולאחר פטירתו ב-1083 התמנה לראשותה בנו ר' אביתר גאון.
ממגילת אביתר ידוע כי דוד בן דניאל עזריה שהיה במצרים ערער על סמכותו של ר' אליהו גאון וניסה לקבל את הסמכות על הקהילות בכח ולתקופה מסוימת אף הצליח לקבל לידיו סמכות על חלק מהקהילות היהודיות. בשנת 1094 אף גרם להפסקת קיומה של ישיבת ארץ ישראל בצור למשך כשנה. על כך מסופר באריכות במגילת אביתר.
במגילה גם מסופר עוד שר' אליהו גאון נסע ב-1083 מצור לחיפה כדי לקדש בה את השנה (ד'תתמ"ד) כסמל לסמכותו של המרכז הארצישראלי בענייני קידוש החודש.