שנת לידתו של רב יהודה שנויה במחלוקת בין החוקרים, בין שנת 194 לבין שנת 220. על פי ההיסטוריון הרב אהרן היימן, נולד רב יהודה בשנת 194, וזאת הוא ביסס על המידע התלמודי היחיד אודות שנת לידתו של רב יהודה, המובא בתלמוד הבבלי, שרבי יהודה הנשיא אמר נבואות שונות ביום פטירתו, ובהן: "היום נולד רב יהודה בבבל". הגמרא שם מוסיפה: "כשמת רבי – נולד רב יהודה, כשמת רב יהודה – נולד רבא... ללמדך שאין צדיק נפטר מן העולם עד שנברא צדיק כמותו, שנאמר: "וזרח השמש ובא השמש". מקובל להבין את הדברים האלו כפשוטם, ועל פיהם קבע הרב היימן את שנת לידתו של רב יהודה לשנת תק"ד או תק"ה למניין השטרות (194), השנה אשר לה הוא מייחס את פטירתו של רבי. על פי השיטה הרווחת, שרבי נפטר בשנת 220 לערך, נקבעה לידתו של רב יהודה לאותה שנה. ההיסטוריון זאב יעבץ טען, כי הנוסח "כשמת" מציינת קירוב בלבד ואינה מדייקת. לעומתו, ההיסטוריון צבי גרץ העריך שרבי נפטר בסביבות שנת 210, בעוד שהוא קובע את הולדתו של רב יהודה לסביבות שנת 220. בהתאם לכך, ובעקבות ראיות אחרות, היו שטענו שהמימרא בתלמוד אינה חד משמעית ואינה מציינת את זמן לידתו של רב יהודה.
רב יהודה תואר בתלמוד כאדם גבה קומה, "ארוך בדורו": "רב ארוך בדורו היה, ורב יהודה מגיע לכתפו. ורב יהודה ארוך בדורו היה, ואדא דיילא מגיע לכתפו". גופו היה חלש ונוטה לחלות, וכשהיה יוצא לשוק היה נועל לרגליו חמישה זוגות של נעלי בד, זה על גבי זה. לעת זקנתו כהו עיניו.
לימודיו.
בילדותו, למד רב יהודה תורה מפי אביו, רב יחזקאל. בצעירותו, למד בישיבת סורא, אצל רב, שהיה ראש הישיבה. רב היה רבו המובהק, ותורתו הייתה שגורה על לשונו של רב יהודה. בתלמוד מובאים מאות מאמרים שמסר רב יהודה בשם רבו – רב – בהלכה ובאגדה. כן מוזכר שנלווה לרבו בדרכו. לפי שיטת רש"י, אמרותיו הרבות של רב המוזכרות בתלמוד פעמים רבות, ללא שם התלמיד המוֹסר, כולן נאמרו על ידי רב יהודה בישיבתו.
רב יהודה היה תלמיד מובהק גם של רב אסי, וגם בשמו הוא מסר מספר מאמרים. על פי דעה אחת בקרב החוקרים, לאחר פטירתו של רב ( – 247 בערך, לפי אגרת רב שרירא גאון) הלך רב יהודה לעיר הוצל, לישיבתו של רב אסי. על פי דעה אחרת, רב יהודה למד אצל רב אסי בצעירותו, לפני שלמד אצל רב וכשבא רב לבבל עבר ללמוד אצלו.
לאחר זמן מועט נפטר רב אסי ורב יהודה הגיע לנהרדעא, ישיבתו של שמואל, שהיה גם הוא לרבו המובהק. מאמרים רבים נמסרו על ידי רב יהודה בשמו של שמואל, ולמעשה רוב תורתו ומעשיו היו על פי תורתו של שמואל רבו. רב יהודה היה מרצה לפניו את דבריהם של רבותיו הקודמים, רב ורב אסי, ושמואל היה מתייחס אליהם ומעיר את הערותיו. שמואל רבו חיבב אותו מאוד. שגור בלשון התלמוד הביטוי "שיננא", שאמר שמואל לרב יהודה, ביטוי שמשמעותו היא: שנון, בעל השיניים, כלומר - משובח בחריפותו ובחכמתו. בעקבות שמואל רבו, פנו אל רב יהודה גם חבריו בביטוי "שיננא". שמואל אמר עליו עוד "אין זה ילוד אישה" (אלא מלאך).
רב יהודה נלווה אל שמואל במסעותיו מספר פעמים. אודות אחת מהפעמים שבהן נלווה אליו, מסופר בתלמוד: רב יהודה הלך אחרי רבו שמואל בשוק של היישוב בי דיסא. באמצע השוק, שאל רב יהודה את שמואל: אדם שמוצא ארנק במקום כזה, האם חלה עליו מצוות השבת אבידה? אמר לו: לא, המציאה שייכת למוצא – "הרי אלו שלו". הוסיף רב יהודה ושאל את רבו מה יש לעשות, אם בא יהודי ונתן בה סימן? אמר לו: חייב להחזיר. כאשר תמה רב יהודה על הסתירה שבין שתי ההוראות של רבו, הסביר לו שמואל כי הוראתו האחרונה נאמרה כחיוב של "לפנים משורת הדין".
רב יהודה למד גם מפיהם של רב ירמיה בר אבא, זעירי וחכמים נוספים, מלבד מה שלמד אצל רבותיו המובהקים – רב ושמואל.
שקידה והתמדה אפיינו את רב יהודה. היה נוהג לחזור על כל תלמודו בכל חודש.
הקמת הישיבה בפומבדיתא.
לאחר פטירתו של שמואל (נפטר בשנת , 253 בערך), התמנה רב הונא לראש ישיבה בסורא, ורב יהודה הלך לפומבדיתא והקים בה את ישיבת פומבדיתא. הישיבה נחשבה "להמשכה של הישיבה בנהרדעא", על פי ההיסטוריון מיכאל אבי יונה, "וחכמיה שנודעו בחריפותם היו מעצבי דרכי המחשבה של התלמוד הבבלי". שתי הישיבות בסורא ובפומבדיתא היו, לאורך כ-800 שנה, החשובות והקובעות בעולם היהודי, ומהן יצאה תורה והוראה לכל תפוצות הגולה.
בזמנו של רב יהודה התמקדו הלומדים בישיבת פומבדיתא בדיני ממונות המסודרים בסדר נזיקין, ואשר עליו נאמר במשנה: רב יהודה עצמו התבטא: מי שרוצה להיות חסיד, יקפיד לקיים את הלכות נזיקין.
שיטת הלימוד בישיבה התאפיינה בחריפות ובידיעת ההלכה על בוריה (בקיאות). תלמיד הישיבה, רמי בר תמרי, אשר נקלע לסורא, נקלע לדיון הלכתי עם רב חסדא, ובסיום הדיון אמר לו רב חסדא: אני רואה שאתה די חריף! רמי בר תמרי ענה: לו היית במקומו של רב יהודה, הייתי מראה לך את חריפותי. הדעות חלוקות לגבי משמעות המונח חריף. הרב אייזיק הירש וייס זיהה את החריפות כהצטיינות בפלפול ובסברה, והסמיך את הדברים לביטוי בארמית: תרגום: שמא מפומבדיתא אתה, שמכניסים פיל בקוף (נקב) של מחט? לעומת זאת, הרב אהרן היימן טען שהחריפות היא רק הבנה ברורה של ההלכה.
התלמוד מציין כביטוי לסמכותו של רב יהודה את העובדה שברשותו הוחזק ה"שופר", ומפרשי התלמוד דנים בטיבו ותפקידו של שופר זה. רש"י הציע שני פירושים: האחד - שופר ששימש לתקיעות ביום שישי אחר הצהריים, סמוך לכניסת השבת, כדי להזכיר ולהודיע על כניסת השבת. בעלי התוספות דחו פירוש זה, וקיבלו את פירושו השני של רש"י, שהובא באגרת רב שרירא גאון שלפיה מדובר היה בשופר ששימש מעין קופת צדקה לצורכי ישיבת פומבדיתא. ה"שופר", כדברי התלמוד, הוחזק בביתו של רב יהודה, ראש הישיבה, ומשם עבר, אחרי פטירתו, לביתו של רבה, ואחריו לרב יוסף, לבית אביי ולבסוף לביתו של רבא.
ראש לחכמי בבל.
רב יהודה עמד בראש הישיבה בפומבדיתא, ובמשך 40 שנות כהונתו של רב הונא בישיבת סורא היה רב יהודה – ככל חכמי בבל (ולאחר פטירת רבי יוחנן ורבי אלעזר גם חכמי ארץ ישראל) – כפוף לרב הונא, והיה לעיתים הולך אליו לראותו. לדעת הראב"ד, בספרו "ספר הקבלה", היה רב יהודה גדול מרב הונא בחכמה, וקרבתו של רב הונא למשפחת ראש הגולה הייתה זו שגרמה לכך שהתמנה לראש ישיבת סורא. עם זאת, מן התלמוד משתמע שרב יהודה היה כתלמיד חבר לפני רב הונא.
לאחר פטירתו של רב הונא, ד'נ"ז (297), היה רב יהודה ראש חכמי בבל, וכל חכמי דורו היו כפופים לו ובאו לפניו לפומבדיתא. מצב זה נמשך כשנתיים, עד פטירתו של רב יהודה.
לאחר פטירתו של רב יהודה (שנת ד'נ"ט, 299) עברה הגדולה לסורא, לידיו של רב חסדא, שהיה תלמיד-חבר של רב הונא, עד פטירתו לאחר עשר שנים. בפומבדיתא, בינתיים, לא הוסכם על ראש ישיבה תחת רב יהודה, מכיוון שגדולי תלמידיו – רבה ורב יוסף – לא אבו ליטול את התפקיד הרם. רב הונא בר חייא כיהן, אפוא, כראש הישיבה בפומבדיתא, לא באופן רשמי ומלא, אך עם תלמידים רבים; ולאחר מכן, ואף במקביל, הועבר התפקיד לידיו של רבה, כאשר נֵאות לקבלו.
מידותיו.
רב יהודה היה תקיף, ולא נמנע מלנהוג כפי שנדרש ממנו ללא משוא פנים. עוד בהיותו תלמיד לפני שמואל, לא חשש לפנות אל רבו, שהתעלם מאישה שצעקה לפניו, ולהעיר לו על כך. על כך מסופר בתלמוד: רב יהודה ישב לפני שמואל. באה אישה אחת, צעקה והתלוננה לפניו, ושמואל לא הגיב. שאל רב יהודה את שמואל: האין רבינו סובר כפי הנאמר בפסוק . נענה שמואל: שיננא (כינוי של רב יהודה), ראשך – רבך – יקבל את עונשו רק במים קָרים, אך ראשו של ראשך – ראש הגולה – ידון בחמים, כלומר: מידת האחריות שלי אינה גדולה כמו זו של ראש הגולה. הרי יושב מר עוקבא כאב בית דין, וכתוב: .
בהיותו דיין ופוסק לא חשש לבטא את דבריו בתוקף. במספר מקרים שהורה בהם הלכה, הנחה את תלמידיו לקיימה ללא חשש, גם כאשר הייתה מחלוקת בדבר וקמו עוררין על הוראתו. כשהתיר ניעור גלימה מן האבק בשבת, מפני שבבבל לא הקפידו על הסרת האבק ולכן אין בכך מלאכת כיבוס, נקלע האמורא עולא לפומבדיתא. לשמע מחאותיו, שבארץ ישראל אסרו את הדבר, הורה רב יהודה "נערו את הגלימות בפניו, אנו איננו מקפידים (שיש אבק)". מסופר, שאישה אחת מנהרדעא הגיעה לדין לפני רב יהודה, ויצאה חייבת בדין. אמרה לרב יהודה: וכי שמואל רבך היה דן כך?! אמר לה: היכרת אותו? אמרה לו: כן, גוץ וכרסו גדולה, כהה ושיניו גדולות. אמר לה: לבזותו באת? בשמתא תהיי (מין של נידוי)! פקעה ומתה.