בצעירותו היה בין יוזמי התכנסות שבועית של תלמידי חכמים בביתו של הרב הראשי, הרב יצחק אייזיק הלוי הרצוג, לדון בדברי תורה ושאלות פסיקה מורכבות. בעקבות אותה התכנסות שבועית גברה הערכתו של הרב הרצוג אליו, והוא העניק לו כושר לדיינות. בשנת ה'תשט"ז (1956) ביקש ממנו שיתמנה כדיין בבית הדין הרבני בירושלים. הוא ניאות בעקבות מאמצי השכנוע של ידידו הרב יוסף שלום אלישיב. בשנת ה'תשל"א מונה לאב בית דין. משנת ה'תשל"ד כיהן בבית הדין הרבני הגדול וכחבר מועצת הרבנות הראשית לישראל. בעת שהתמנה לחבר בית הדין הגדול - סירב הרב מרדכי אליהו לעמוד בראש ההרכב, אף שמפני ותיקותו נועד לכך לפי הנהלים בבית הדין, והתנה את השתתפותו בכך שהרב שפירא הוא אשר יכהן כאב בית הדין.
בסביבות שנות ה-70 נענה לבקשת קבוצת סטודנטים לרפואה בהובלת הרב פרופ' אברהם שטיינברג ומסר להם במשך תקופה ארוכה שיעורים על ענייני רפואה בשבת. בין הנושאים שהועלו היו סוגיות כגון איך מבצעים בשבת זריקות, החדרת אינפוזיות, חבישות, ועוד. כשבאותה התקופה ההכרעות ההלכתיות בנושאים אלו טרם היו ברורות והוא חידש את הדברים.
בשנת תש"מ מונה לחבר במחלקת החקיקה שבמכון הרי פישל ולמבקר ראשי של מפעל 'אוצר הפוסקים'. עמד באותה תקופה גם בנשיאות מכון מהרש"ל המוציא לאור כתבי גאונים וראשונים.
בתקופה זו היה חבר בוועדות שונות, מהן הוועדה לפתרון בעיית ניתוחי מתים וועדת חינוך, שהוקמה על ידי השר משה חיים שפירא. מהחלטותיה הבולטות של ועדה זו הייתה ההחלטה להכיר בשנות הלימוד בישיבות כהכשרה הטובה ביותר להוראה.
ברבנות הראשית.
מינוי, אופי כהונתו ופועלו.
לקראת סיום כהונתם של הרבנים הראשיים, הרב שלמה גורן והרב עובדיה יוסף, פעל הרב שפירא להארכת כהונתם. לאחר שהמאמצים לא הצליחו, ובעקבות לחצים שהופנו כלפיו להתמודד בעצמו, הציג את מועמדותו לתפקיד אך סירב לפעול לקידום בחירתו. בא' בניסן ה'תשמ"ג (15 במרץ 1983) נבחר לכהונת הרב הראשי לישראל. זאת, למרות הוראת חוק הרבנות הראשית לישראל לפיה בעת הבחירה על הרב הראשי להיות מי שטרם מלאו לו 70 שנה. הרב שפירא זכה ל-80 קולות מתוך 136 קולות המצביעים, כאשר המתמודדים האחרים, הרב יצחק קוליץ והרב שאר ישוב כהן זכו ב-36 קולות ו-17 קולות, בהתאמה. הרב שפירא כיהן בתפקיד 10 שנים, עד לניסן ה'תשנ"ג (1993) במקביל לרב מרדכי אליהו.
תקופת כהונתם התבלטה בשיתוף פעולה בין הרבנים הראשיים, בין השאר הנהיגו שישיבות מועצת הרבנות הראשית תתקיימנה לסירוגין - שבוע אצל האחד מהם ושבוע אצל עמיתו, כמו כן הציב כל אחד מהם בלשכתו כיסא תואם לשלו - עבור עמיתו. והקפידו להיפגש בכל שבוע ולדון יחדיו בנושאים שעל הפרק.
במהלך כהונתו פעל הרב שפירא לחיזוק מעמד הרבנים והדיינים ולשיפור וקידום מבחני הרבנות, מה שהעניק להן יוקרה עד כדי שתלמידי חכמים מארצות הברית הגיעו ארצה במיוחד להיבחן בהם, כולל מבני הציבור החרדי. בעקבות פעילותו עם הרב אליהו הופסקה היכולת למנות דיינים ללא מבחני הסמכה מסודרים של הרבנות. מלבד זאת פעל לביצור מעמדה של הרבנות באופן כללי, ובתקופת כהונתם נמנעה מערכת בתי המשפט מלהיכנס לעימות עם הרבנות. הם הנכיחו את הרבנות, מלבד העיסוק בנושאי רבנות קלסיים, כגון כשרות ונישואין, גם בנושאים ציבוריים שונים, כמו שביתת האחיות, ופעלו להגדלת סמכותה והשפעתה בתחומים שונים, בין השאר הכניסו נציג קבוע של הרבנות למשרד החינוך. כן הקפיד הרב שפירא להיפגש מידי תקופה עם ראשי הנהלת החינוך הדתי ולדון בנעשה בו. הרב שפירא ראה בפעילויות אלו שליחות חינוכית - ללמד ולהרגיל ש"לתורה יש מה לומר, בכל שטחי החיים, בפרט במדינה יהודית". כשיצא בשליחות הרבנות הראשית לפגישות ברחבי העולם, נהג לצום בשל כובד המשקל שבשליחותו של עם ישראל
מערך הכשרות ומחלקת הייבוא.
הוא והרב אליהו פעלו במיוחד להעלאת רמת הכשרות של הרבנות הראשית והקפידו להיות מעורבים בפרטיה, תוך שליחת שליחים ייעודיים ברחבי העולם, ובפרט למזרח הרחוק ומקומות חסרי רבנות מסודרת, זימונים מיוחדים של רבנים ואנשי מקצוע, ובדיקה אישית של רשימות מוצרים וחמרי גלם. הם יזמו כללים ותקנות חדשים, יצרו סדר מחודש לקבל אישורי כשרות, הכולל מעורבות עמוקה ביותר של הרבנות ומשגיחיה, ואף הפעילו ביקורת קפדנית ומעקב על מפעלים ורבנים מפקחים מחוץ לישראל שכבר הוכרו, מה שהביא לפסילת אלו שהתבררו כבלתי מהימנים ולשיפורם של אחרים. כדי להגיע לשליטה מוחלטת של הרבנות הראשית במתרחש יזם הרב שפירא פגישות עם ראשי רשתות השיווק ורתם אותם לשיתוף פעולה עם הרבנות, באופן שהן עצמן סירבו לקבל מיבואנים סחורה שאינה מאושרת בידיה, כך שנוצר ציר שמנע החדרת מוצרים שאינם כשרים לשוק. במעשיהם יצקו תשתית חדשה נרחבת ויצרו את מערכת הכשרות המסועפת כפי שהיא כיום.
הם פעלו לבסס את מעמדה של הרבנות כמופקדת על כלל הכשרות בארץ, כאשר לשם כך הרב שפירא יזם יחד עם הרב אליהו את החוק האוסר על נתינת כשרות כלשהי בארץ ללא פיקוח של הרבנות הראשית והביא לחקיקתו - מה שהצריך גם את הבד"צים הפרטיים דוגמת בד"ץ העדה החרדית ודומיו לתת דין וחשבון על פעולותיו ואישוריו, כדי לקבל את אישורה של הרבנות הראשית. בעקבות כך גורמים חרדיים מסוימים ואחרים החלו להשמיץ את הרבנות בפלטפורמות שונות, במטרה להניא אותה מהפיקוח ההדוק שהחילה, אך הרב שפירא סירב לחזור בו מהקריטריונים שהציב.
במסגרת הפעילות בנושא הכשרות ייסד הרב שפירא את "מחלקת הייבוא" של הרבנות הראשית, בנמקו שקיומה של מחלקת יבוא יעילה ישפיע רבות וירומם את קרנה של מערכת כשרות מודרנית, המשלבת תורה עם מדע וטכנולוגיות מזון, בעולם בכלל ובארץ ישראל בפרט. הם יזמו כללים ותקנות בענייני כשרות ארציים ובענייני היבוא ושחיטת הבשר מחוץ לישראל. והפעילו ביקורת תמידית וקפדנית על צוותי השחיטות היוצאים מחוץ לישראל, שהעלתה באופן משמעותי את רמת הכשרות של שחיטה מחוץ לישראל. בראשות המחלקה הועמד תלמידו המובהק הרב יצחק יעקובוביץ, לימים רבה של מועצה אזורית דרום השרון, והופקדה ועדת ייבוא מיוחדת שכללה את הרבנים שמחה הכהן קוק, פנחס קורח, אברהם רובין, יוסף גליקסברג ויוסף בר-שלום אשר לבקשת הרב שפירא הלכו ללמוד ולהתמחות בטכנולוגיית מזון. בין ההחלטות שהתקבלו בה הייתה לאסור כניסת מוצרים לארץ בלא שיעברו בדיקת מעבדה על ידי כימאי ירא שמיים, לוודא שאין בהם רכיבים שאינם כשרים.
סוגיית קביעת רגע המוות.
אחת הפסיקות הבולטות של הרבנות הראשית בהנהגתם, הייתה הכרעת הרבנות בשנת ה'תשמ"ו בעניין קביעת רגע המוות, פסיקה שסללה את ההכשר האתי להשתלת איברים בישראל. זאת כאשר משרד הבריאות פנה אל הרבנות בבקשה להכריע בסוגיה, והרב שפירא שהכיר בחשיבות הנושא הקדיש זמן וכוחות רבים כדי להגיע להכרעה ברורה בשאלה. הוא הקים ועדה שכללה מלבדו ומלבד הרב אליהו, את הרב שאול ישראלי, הרב זלמן נחמיה גולדברג, הרב דוד חיים שלוש והרב ישראל מאיר לאו, אליהם צירף את המומחים לענייני רפואה והלכה - הרב פרופ' אברהם שטיינברג והרב ד"ר מרדכי הלפרין, על תקן יועצים רפואיים.
הוועדה קיימה התייעצויות עם רופאים בכירים בבית החולים הדסה עין כרם ולמדה את סוגיית ההשתלות וההיבטים הרפואיים וההלכתיים הנוגעים לקביעת המוות. תוך ייעוץ רפואי מקצועי של מומחים בתחומי הנוירולוגיה, ההרדמה, הכירורגיה, הקרדיולוגיה, ועוד. ורק לאחר שהסוגיה הרפואית הובנה כל צרכה, הם נכנסו להיבט ההלכתי והסיקו כי היעדר נשימה באופן בלתי הפיך נחשב למוות. מוות מוחי פירושו מוות של כל המוח, ובכלל זה מוות של גזע המוח ומרכז התפקוד של הנשימה העצמונית. מפני חששות הלכתיים הציבה הוועדה מספר תנאים לאישור המוות המוחי, בין היתר דרישה שרב מוסמך המתמחה בפסיקת הלכה רפואית יהיה נוכח בקביעת רגע המוות. את ההכרעה הסופית בסוגיה נתן הרב שפירא והחלטות הועברו ואומצו במועצת הרבנות הראשית.
התנאים שהציבה הוועדה לא התקבלו על ידי משרד הבריאות, ולכן לא התאפשר באותה עת להתיר את ההשתלות, מה שמנע משומרי מצוות לחתום על כרטיס אדי. כחודש לאחר פטירתו של הרב שפירא הגיש חבר הכנסת עתניאל שנלר את הצעת חוק מוות מוחי-נשימתי, המיוסד על החלטות הוועדה האמורה, וזו אושרה במליאת הכנסת במקביל לאישורו של חוק השתלת איברים, מה שהביא להכשר ההלכתי להשתלות, שאפשר לדתיים לקחת בהן חלק.
סוף ימיו.
בסוף שנת ה'תשס"ז הידרדר מצבו הבריאותי, ולתפילות הימים הנוראים בישיבה הגיע על כיסא גלגלים ומחובר לבלון חמצן. בעשרת ימי תשובה נערכו עצרות תפילה רבות לרפואתו, ביניהן עצרת המונית בכותל המערבי.
הרב אברהם אלקנה כהנא שפירא נפטר ביום טוב ראשון של סוכות, ט"ו בתשרי תשס"ח (27 בספטמבר 2007), במרכז הרפואי שערי צדק בירושלים. חרף המנהג הירושלמי שלא להלין את המת בעיר, נערכה הלווייתו למחרת על פי פסיקתו מספר שנים קודם לכן, לפיה יש לדחות הלוויית תלמיד חכם כדי לאפשר לקהל רב להשתתף בה, מפני כבודה של תורה.
בהלווייתו השתתפו עשרות אלפים. נטמן בבית הקברות בהר הזיתים סמוך לקבריהם של הרב אברהם יצחק הכהן קוק, הרב צבי יהודה הכהן קוק, הרב דוד כהן (הנזיר) והרב שלמה גורן.
בהנהגה הציבורית.
מנהיג ציבור.
פעולתו הציבורית הבולטת החלה במאבק כנגד פינוי סיני, אותו הוביל לבקשת הרצי"ה שנחלש. לאחר מכן כרב ראשי, התבלט במאבק כנגד פינוי שטחי ארץ ישראל מיהודים בכלל, וכן כנגד צמצום כוחה של הרבנות. לאחר סיום כהונתו, לצד עמיתו הרב מרדכי אליהו, היווה מוקד סמכות תורני מרכזי בציבור הדתי לאומי – בהכרעות הלכתיות ובהנהגה ציבורית. נחשב לבכיר רבני הציונות הדתית ומנהיגה הרוחני. אנשי מפלגת איחוד הלאומי-מפד"ל נהגו להתייעץ בו וברב מרדכי אליהו.