בשנת ה'תרצ"ז (1937), בגיל 18, נשלח על ידי הרב יעקב דואק להעביר במקומו שיעור יומי בבית הכנסת 'אוהל רחל' של עולי פרס בשכונת "בית ישראל". השיעור עסק בהלכה, מתוך ספרו של רבי יוסף חיים, הבן איש חי. בשיעוריו הרבה לחלוק על ה"בן איש חי" וטען כנגדו כי הוא מחמיר וכי הוא מעדיף את פסקי האר"י על זה של השולחן ערוך. שיעורי הלכה אלו היו חוויה מעצבת עבור הרב יוסף, הן משום שלראשונה ביטא בפומבי את תפיסתו בנוגע לעדיפות שיש לפסקי רבי יוסף קארו, והן משום שדבריו כנגד פסיקותיו של ה"בן איש חי" עוררו תרעומת בקרב קהל שומעיו, במיוחד אלה מיוצאי בבל. מספר רבנים נכבדים, בהם הרב יצחק נסים (לימים הרב הראשי הספרדי), גערו בו במשך השנים בשל כך, אולם רבו, הרב עזרא עטייה, עודד אותו להמשיך ולפסוק הלכה על פי הבנתו. במקביל לשיעורים שהעביר העלה על הכתב את השגותיו על ה"בן איש חי", שפורסמו שנים רבות לאחר מכן (1998–2003) בסדרת הספרים "הליכות עולם".
בשנת ה'ת"ש (1940), בגיל עשרים, הוסמך לרבנות ודיינות על ידי הרב בן-ציון מאיר חי עוזיאל. בין השנים 1945–1947 שימש כדיין בבית הדין של העדה הספרדית בירושלים. בתקופה זו כבר התבססה תפיסתו ההלכתית, והוא נהג להשיב לשאלות שהופנו אליו מחוגי הרבנות והדיינות הספרדית בארץ ובפזורה, וכן מאשכנזים ירושלמים. בד' בניסן ה'תש"ד (1944), נישא למרגלית, בתו של הרב אברהם הלוי פטאל, מעולי חלב. החתונה התקיימה בבית ספר שפיצר ששכן בבית יהודיוף-חפץ שבשכונת הבוכרים. בתקופה זו, בני משפחתו של הרב יוסף וחבריו לשכונת מגוריו בירושלים, נחשפו לסביבה הציונית ופעלו במסגרתה, עד כדי מעורבות אינטנסיבית בארגון האצ"ל.
שהותו במצרים.
בשנת 1947 עבר למצרים, לבקשתו של הרב עוזיאל, שם היה סגנו של הרב הראשי הרב נחום אפנדי ואב בית דין. במצרים מצא מחויבות דתית חלשה, לא רק בקרב המוני העם, אלא גם בקרב המנהיגות ואף בקרב הרבנים המקומיים.
הרב אהרן שויקה שהיה מעסיקו מטעם הרבנות, מינה אותו לשמש כראש ישיבה בישיבתו "אהבה ואחווה", ותמך בו במאבקיו. אחת הבעיות החמורות מבחינה הלכתית הייתה מערך הכשרות במוסדות הציבור, דבר אשר גרם לסכסוכים בינו ובין אישים בקהילה, בהם רבנים. בעקבות אירועים אלה התפטר מתפקידו, כשנתיים לאחר בואו, בשלהי תש"ט. כשנה לאחר מכן, בקיץ 1950, חזר לישראל.
חוויותיו במצרים השפיעו עליו רבות, והדבר בא לידי ביטוי בפסיקותיו ובדרשותיו. שהותו במצרים השאירה ברב יוסף גם את חותמה בדמות ליקויי הראייה שמהם סבל, אשר החמירו עם השנים וחייבו אותו להרכיב משקפי ראייה עם עדשות כהות.
דיין בפתח תקווה ובירושלים.
כששב לישראל ממצרים, לא היה יכול ללכת לכולל בפורת יוסף, בגלל שאז לא החזיקו בכולל אברכים מבוגרים. לכן, כדי להתפרנס לימד בתלמוד תורה של חסידות סאטמר, ובהמשך החל ללמוד בבית מדרש "בני ציון", בראשות הרב צבי פסח פרנק. בתקופה זו הניאה אותו אשתו, מרגלית, מלהתמנות לתפקיד ראש הבד"ץ של העדה החרדית הספרדית. הוא שימש כדיין בביה"ד האזורי בפתח תקווה בהרכבו של המרא דאתרא הרב ראובן כץ והרב ישעיהו משורר (1951–1952, 1957–1958). תעוזתו הפסיקתית באה לידי ביטוי כבר בתקופת כהונתו הראשונה, בהיותו כבן 30 בלבד, בעת שכתב פסק דין שהתיר יבום במקום חליצה, כמנהג הספרדים, ובניגוד לתקנות של הרבנות הראשית לישראל, שנקבעו שנה קודם לכן.
בשנת ה'תשי"ב פרסם את ספרו על הלכות הפסח חזון עובדיה, ספר שזכה לביקורות חיוביות, וזכה להסכמות, בין השאר, משני הרבנים הראשיים, הרב עוזיאל והרב הרצוג, וכן מהרב עטייה. בשנה זו זכה בפרס משרד הדתות שחולק ל-18 "עילויי הישיבות". שנתיים לאחר מכן ייסד את "אור התורה", ישיבה לאברכים ספרדים מצטיינים. ישיבה זו, שלא האריכה ימים, הייתה סנונית ראשונה של ישיבות שהקים במהלך השנים שלאחר מכן (בין השאר, בעזרת בניו), במטרה לייצר בני תורה ספרדים שיהוו את שדרת המנהיגות התורנית של דור העתיד. בשנים תשי"ד ותשט"ז הוציא לאור את שני הכרכים הראשונים של יצירתו המרכזית "יביע אומר". הרב יוסף זכה בפרס הרב קוק לשנת ה'תשי"ד, פרס ירושלים לספרות תורנית לשנת ה'תשי"ז וה'תשכ"ב.
בין השנים תשכ"ד-תשכ"ח (1964–1968) שימש כראש ישיבת המתיבתא הגדולה בית הראש"ל ברחוב ז'בוטינסקי 31 בירושלים.
בשנים 1958–1965 כיהן כדיין בביה"ד האזורי בירושלים, וב-1965 היה לחבר בית הדין הרבני הגדול. במהלך שנות השישים למד במשך פרק זמן מסוים קבלה באופן אישי אצל הרב מרדכי שרעבי.
רב ראשי לתל אביב.
בשנת ה'תשכ"ט (1968) נבחר לכהן כרב ראשי בתל אביב-יפו, לצד הרב שלמה גורן. הוא הוכתר לתפקיד ב-17 ביוני 1969. בכהונתו כרבה של תל אביב, כמו גם בכהונתו כדיין בפתח תקווה ובירושלים, התעמת עם רבנים אשכנזים בנושאים כמו עריכת חתונות לספרדים בימים שבהם אשכנזים נמנעים מכך (כגון מי"ז בתמוז עד ר"ח אב) מתוך רצון להקל על הציבור ולהרים את קרנה של הפסיקה הספרדית.
בשנת 1970 זכה בפרס ישראל לספרות תורנית.
פרשת גיורה של הלן זיידמן.
בשנת 1970 ביקשה הלן זיידמן (לשעבר שנון), נכרית מארצות הברית שהתגוררה בקיבוץ נחל עוז ונישאה ליהודי כהן חבר הקיבוץ בנישואין אזרחיים להירשם כיהודיה במרשם האוכלוסין, לאחר שעברה גיור רפורמי. הרבנות הראשית התנגדה לכך בתוקף, והתעורר חשש שבג"ץ יקבל את עמדתה של זיידמן במה שיתפרש כמתן הכרה לגיורים רפורמיים. כדי למנוע תוצאה כזאת, הרב גורן, שהיה אז הרב הראשי לצה"ל, גייר את זיידמן בתוך יממה. לאחר שהגיור לא הוכר בשל חוסר סמכותו של הרבצ"ר לגייר, כינס הרב יוסף בית דין בלשכתו ואישר את הגיור, בגיבויים של הרבנים הראשיים ניסים ואונטרמן. רבנים מהציבור החרדי, בהם הרב אלישיב והרב קניבסקי, תקפו את הגיור וטענו כי הוא לא כלל קבלת מצוות, בשל העובדה שהלן הייתה נשואה לכהן (דבר שאסור לפי ההלכה) והמשיכה להתגורר בקיבוץ חילוני, דבר שמעורר חשש כבד שאין בכוונתה לשמור תורה ומצוות.
רב ראשי לישראל.
בז' בחשוון ה'תשל"ג (1972) נבחר לרב הראשי לישראל ולראשון לציון, במקומו של הרב יצחק נסים ברוב של 81 לעומת 68 קולות. התמודדותו של הרב יוסף ספגה ביקורת על שהתמודד נגד רב ראשי מכהן, ובתגובה תמך בו בפומבי הרב יוסף שלום אלישיב. מערכת הבחירות הייתה מתוחה, כאשר ברקע עמדה פרשת פסק דין האח והאחות, וכן יחסים מתוחים בין הרב יוסף לרב נסים. המתח בין שני הרבנים החל עוד בשנות ה-40, כשהרב יוסף יצא בגלוי נגד פסקי הבן איש חי. לצדו של הרב יוסף נבחר לכהן כרב הראשי האשכנזי, הרב שלמה גורן. יחסי שני הרבנים הראשיים היו מעורערים. מועצת הרבנות הראשית נשלטה בידי הרב גורן ולתקופת זמן מה אף החליט הרב יוסף שבשל כך אין טעם שיגיע לדיוניה כלל. בשנות פעילותו כרב ראשי פעל הרב יוסף במספר עניינים הלכתיים וחברתיים בעלי תהודה ומשמעות לאומית: בין השאר, התרת נישואין עם קראים, לאחר שלמדו את יסודות התורה שבעל פה, וקיבלו על עצמם שמירת מצוות; קבע כי ביתא ישראל הם יהודים לכל דבר, פסיקה היסטורית שהובילה להחלת חוק השבות על יהודי אתיופיה; והתיר את כל עגונות נעדרי צה"ל במלחמת יום הכיפורים, בבית דין בראשותו שבו ישב עם הרב הראשי לצה"ל, מרדכי פירון, ועם סגנו, הרב גד נבון.
בשנים ה'תשל"ז–ה'תשנ"ד הוציא ספר בעל שישה כרכים בשם יחוה דעת, המבוססים על שיעורי הלכה שנתן במסגרת "פינת הלכה" בקול ישראל, מראשית כהונתו כרבה של תל אביב ועד סוף כהונתו כרב הראשי לישראל. ספר זה נחשב לספר הלכה פופולרי, מאחר שהתשובות נכתבות בקיצור וללא פלפולים, זאת בניגוד לשקלא וטריא הלמדני המאפיין את יביע אומר.
בחודש ניסן ה'תשמ"ג (1983), בעקבות חוק שקצב את כהונתם של הרבנים הראשיים לעשר שנים, הסתיימה כהונתו של הרב יוסף כרב ראשי, דבר אשר היה למורת רוחו. אחד הפעילים להשגת חקיקה זו היה שר האוצר משה ניסים בנו של הרב יצחק נסים, הראשון לציון שהוחלף בידי הרב יוסף. לתפקיד הרב הראשי הספרדי נבחר הרב מרדכי אליהו. לאחר שסיים את תפקידו המשיך הרב יוסף לכהן כדיין בבית הדין הרבני הגדול. במקביל הנהיג את מפלגת ש"ס והקים את "מועצת חכמי התורה" של המפלגה, בנשיאותו. חברי הכנסת יוסי שריד ויאיר צבן עתרו לבג"ץ בדרישה שיאסור פעילות פוליטית על ידי דיין בבית הדין הרבני. בית המשפט קבע כי אין זה ראוי שדיין יעסוק גם בפעילות פוליטית. בעקבות כך פרש מתפקידו כדיין בספטמבר 1988.
מנהיג ש"ס.
לקראת התמודדותה של מפלגת ש"ס בבחירות לכנסת האחת עשרה, בשנת 1984, הוקמה מועצת חכמי התורה בהנהגתו של הרב יוסף, כאשר הרב שך, מנהיג הזרם החרדי-ליטאי, משמש פטרון פוליטי נוסף. ב-1990, לאחר שהרב יוסף תמך בתחילה בשיתוף הפעולה בין ש"ס ובין מפלגת העבודה ("התרגיל המסריח"), נוצר קרע בין הרב יוסף ובין הרב שך. בניגוד לדעתם של רבנים רבים, הורה הרב יוסף לחברי סיעת ש"ס להיכנס לממשלתו של יצחק רבין, לאחר הבחירות לכנסת השלוש עשרה בשנת 1992. מאז הפך למנהיגה הבלעדי והבלתי מעורער של ש"ס. נראה כי הדבר קיבל חיזוק עם חילופי הגברי בצמרת ש"ס, ב-1999, עת החליף אלי ישי את אריה דרעי בראשות המפלגה.
החל עם הקמתה, זכתה ש"ס למעמד של שחקן מפתח בפוליטיקה הישראלית, והשפיעה רבות בצמתי הכרעה רבים, בין השאר בתקופות של גיבוש קואליציה לאחר קיומן של בחירות. בשל כך, הגיע הרב יוסף, כמנהיגה של ש"ס, ל"מוקד של כוח פוליטי ששום אישיות חוץ-פוליטית במדינת ישראל לא זכתה לו מעולם".
התבטאויותיו הפוליטיות (והתאולוגיות) במסגרת דרשתו השבועית בבית הכנסת של "היזדים", עוררו לעיתים סערות פוליטיות וציבוריות (ראו על כך בהמשך). פעמים רבות גישתו הפוליטית הובאה בהבלטה בעיתון יום ליום ואילו דעתו ההלכתית הובעה בקונטרס עונג שבת שצורף לעיתון מדי שבוע.