נולד בירושלים לרב שלמה זלמן כהנא שפירא ולהענע רייזל (לבית זקס). הוא דור שישי בעיר. למד בתלמוד תורה של ישיבת עץ חיים הירושלמית ב"חורבה" בעיר העתיקה, אצל הרב חיים מן והרב לייב רוחמקין (חותנו של הרב שלמה זלמן אוירבך). אחר כך למד בישיבת תפארת צבי אצל הרב אברהם חיים הקלמן, ובעידודו הדפיס בהיותו בגיל שתים עשרה את חיבורו הראשון "דרכי הקניינים" על גדרי הקניינים בהלכה. כן למד אצל הרב ראובן טרופ אליו התקרב מאוד. לאחר שעברה ישיבת חברון לירושלים בעקבות פרעות תרפ"ט עבר אליה ובה למד אצל ראש הישיבה הרב משה מרדכי אפשטיין, אשר קירב אותו, ואצל הרב יחזקאל סרנא, וכן למד בחברותא עם הרב משה חברוני – לימים ראש הישיבה. בהיעדר ספרים - נעזרו רבים ביכלתו לצטט ספרים על-פה. לפי עדות הרב שאר ישוב כהן והרב יעקב רוזנטל, ראשי הישיבה נהגו לומר עליו "הנה הולך וצומח גדול הדור הבא".
בצעירותו עמד בקשר עם רבנים בולטים כמו הראי"ה קוק; הרב מטשיבין, שאיתו היה נוהג להתייעץ בנושאים שונים, ושעל פי הרב חיים אביהוא שוורץ אמר לאחר פטירת החזון איש: "איני יודע מה יאמרו בבני ברק, אבל אני אומר שר' אברום שפירא הוא גדול הדור הבא"; החזון אי"ש שכתב לו "ניכר כי כל מגמתו לגלות אמת התורה"; הגרי"ז מבריסק, שבנו סיפר שאביו היה מבקש שיביאו לפניו קבצים תורניים אם הופיעו בהם מאמרים של הרב שפירא; הרב משה פינשטיין שכתב עליו "רב גוברייהו דחכמי ירושלים הראויין להורות בכל התורה כולה ומה אני נגדם"; הרב צבי פסח פרנק שביקש ממנו להעיר על דברים שכתב; הרב איסר זלמן מלצר שהביא את חילופי המכתבים עמו בספרו "אבן האזל"; הרב יצחק אייזיק הלוי הרצוג והרב צבי יהודה קוק. הרב יוסף שלמה כהנמן מפוניבז' הזמינו, בעידוד החזון איש, ללמד בישיבת פוניבז' שהקים בבני ברק (לפי עדויות שונות - כר"מ או כראש ישיבה). אך הרב שפירא לא חפץ לקבל את התפקיד, על אף לחצי החזון איש.
בשנת ה'תש"ט ההדיר את ספרו של רבי איצל'ה מפוניבז' - "זכר יצחק" - וצירף אליו "קונטרס אחרון" ובו מחידושי תורתו בעניינים הנידונים בספר. בסביבות תקופה זו היה רבה של ירושלים הרב צבי פסח פרנק מעביר לו שאלות בהלכה שנשלחו אליו על מנת שישיב עליהם במקומו.
בעת לימודיו בישיבה, למד בחברותא גם עם דוד רזיאל, שהפך בהמשך למפקד האצ"ל. בעת שברח רזיאל מפני הבריטים והחליף מקומות מסתור, היה מגיע לעיתים ללון בבית משפחת שפירא, והרב נהג לפנות לו את מיטתו וללמוד "משמר".
בישיבת מרכז הרב.
כר"מ.
נשא את פנינה, אחות הרב שלום נתן רענן, חתנו של הרב אברהם יצחק הכהן קוק. מי ששידך ביניהם הרב צבי יהודה הכהן קוק, שהכירו בעת שהתפללו שניהם בבית הכנסת של מאה שערים והתפעל מתפילתו. בשנת תש"ה הוזמן ללמד בישיבת מרכז הרב, שבה לימד מעל שישים שנה. שם גם למד חברותא עם הרב הנזיר בתיקוני זוהר. בישיבה נעשה למקורבו של ראש הישיבה הרב יעקב משה חרל"פ, ובשנים אלו היה היחיד שלימד גמרא מלבדו. עם החלשותו של הרב חרל"פ ביקש מהרב שפירא שימלא את מקומו ויחל במסירת השיעור כללי, וכך נעשה. לאחר הפטירה נעשה זה תפקידו הקבוע.
כראש ישיבה תחת הרצי"ה.
לאחר פטירת הרב חרל"פ הזמינו הרב צבי יהודה לשמש כראש הישיבה, בכפוף אליו, וראה בו את יד ימינו בניהול הישיבה. בשנת ה'תשי"ט הוזמן גם הרב שאול ישראלי על ידי הרצי"ה לשמש בראשות הישיבה, והחל אף הוא במסירת שיעור כללי, ביום חמישי, נוסף על השיעור הכללי של הרב שפירא בימי שלישי. בנוסף לשיעור הכללי מסר שיעור מיוחד בקצות החושן במוצאי שבתות, אותו לא הכין מראש. כמו כן שהה בזמן הסדרים בישיבה כדי לשוחח עם הבחורים בסוגיות.
נהג לשנן ש"עיקר גדלות האדם מתגלית בישיבה" ובעמידתו בראשה ראה את גולת הכותרת של חייו ופועלו.
במשך חיי הרב צבי יהודה, הצניע הרב שפירא את עצמו, ולא הביע בפומבי עמדה שונה משל הרצי"ה. עם זאת, הרצי"ה היה מתייעץ עמו בעניינים ציבוריים ואישיים, וראה בדעתו דעת תורה מכרעת בעניינים שונים.
בראשות הישיבה.
בשנותיו האחרונות, היה הרצי"ה שולח הרבה מענייני הישיבה לברורו והכרעתו של ר' אברום, וכן העביר לאחריותו את ניהול הישיבה ובשנת ה'תשמ"ב (1982), לפני פטירתו, ציווה שהרב שפירא ימשיכו בראשות הישיבה. לאחר פטירת הרצי"ה מונה על ידי חברי עמותת ישיבת 'מרכז הרב' לראש הישיבה כשלצדו הרב שאול ישראלי. באותה תקופה ייסד לזכרו של הרב צבי יהודה את מכון הרצי"ה המוציא לאור את כתבי הרב אברהם יצחק הכהן קוק ובנו הרצי"ה. חרף העובדה שעיסוקו העיקרי באופן אישי היה בתלמוד ובהלכה, הקפיד שסדרי לימודי האמונה ימשכו כפי שהיו. לאחר פטירת הרב ישראלי בשנת ה'תשנ"ה נותר לבדו בראשות הישיבה.
מלבד השיעורים, הרב שפירא שם דגש על יצירת קשר אישי עם תלמידי הישיבה, בלט בקשריו עם כלל התלמידים ונהג לקיים שיחות ושיעורים גם בביתו. בנוסף, דרש מהר"מים ליצור קשר ושיחות אישיות עם בחורים כדי להתרשם ממצבם, באומרו שדבר זה נצרך אף לבחורים המצוינים, ולא רק לכאלו שנחשבים עם קשיים. בשיחות לצעירים בביתו הרבה להדגיש את חשיבות שקידת התורה והלימוד בהספק נרחב, באמרו "בתורה - כמות זו איכות", בהמריצו אותם להגביר את הקצב בלימוד העיון, ולהשקיע בלימוד התוספות בשעת לימוד הבקיאות, כשהוא מנמק: "שיטת הלימוד של 'ואם תאמר' 'ויש לומר' זה מה שבונה באדם שכל של תורה". עודד לעמול על הבנת דברי הראשונים בסוגיות, באומרו ש"זה עיקר ה'עיון'.
תלמידו הרב גדעון פרל כתב שעל ידי ארבעה חלקים באישיותו העצמית חינך הרב שפירא את תלמידיו בישיבה וגידלם בתורה: א. - בתכונות החמימות והאהבה שהרעיף עליהם. ב. - בשליטה המקיפה בידיעת כל חלקי התורה והנהגותיהם של גדולי ישראל, יחד עם "סקרנות" להכיר עוד, כל מה שבא לידיו. ובניתוח מעמיק של השיטות בכל סוגיה, ביסודותיהן, בהשלכותיהן ועד להלכה למעשה העולה מתוך זאת. ג. - בגישה הרוחנית ללימוד המקודש, מתוך הכרת ערכו של עם ישראל שנבחר לקבל את התורה. ד. - בדגש על הקשר האמיץ בין גדולי התורה הקודמים לבין לומדיה שאחריהם, עד דורינו. כשהוא משדר את גדלותם ומתוך כך את סמכותם, ש"מפיהם אנו חיים ואת תורתם אנו שותים", ואת מחויבותנו להמשך המסורת שקיבלנו מהם.
תלמידו מראשית שנותיו בישיבה, הרב אברהם יצחק כלאב תיאר את פועלו לגידול תלמידי חכמים בישיבה: "במשך עשרות שנים שלימד בישיבה ועמד בראשה, השתדל לגדל תלמידי חכמים אמיתיים שיודעים את התורה והלכותיה כראוי, ושלא יהיו כביכול רבנים שיודעים לדבר דיבורי אמונה ומחשבה בעוד שלימוד התורה לאמיתה, בדיני המעשה, בכל הנהגת הבית היהודי, וממילא - המדינה היהודית, יהיו חסרים להם. כי לא יכול להיות גדול בישראל בלא שידע את התורה כולה"
פיצול הישיבה.
בימי השבעה על הרצי"ה דרשה קבוצת רבנים – הר"מים מרדכי שטרנברג, עמיאל שטרנברג, עודד וולנסקי, יהושוע צוקרמן ויעקב לבנון, וכן הרב שלמה אבינר – מהרב שפירא והרב ישראלי, למנות גם את הרב צבי ישראל טאו לראש ישיבה ולהעניק לו זכות הטלת וטו בקבלת והוצאת תלמידים ור"מים, ניהול כספי, עמדות הישיבה כלפי חוץ ועוד. דרישתם לא התקבלה ונוצר מולם מתח בישיבה. הפערים התבטאו גם בתחומים הקשורים בסוגיית הממלכתיות, שהרב טאו הוא אחד מנושאי דגלה ואילו הרב שפירא התייחס באופן ביקורתי יותר לממשלה. חלק מתלמידי הרצי"ה הוותיקים – דוגמת הרבנים דב ליאור, יעקב פילבר, חיים שטיינר, זלמן ברוך מלמד, איתן איזמן, מיכאל הרשקוביץ, אליקים לבנון, דוד חי הכהן יהושע רוזן ואריה שטרן – זוהו עם מחנהו של הרב שפירא.
בשנת ה'תשנ"ח (1997) עזבה קבוצה זו עם כמאתיים תלמידים את הישיבה והקימה את ישיבת הר המור, לאחר שהנהלת הישיבה הציעה בפני התלמידים אפשרות ללימודי הוראה במקביל ללימודי הישיבה. בעקבות זאת, טענו הרב טאו והרבנים הקשורים אליו, כי הנהלת הישיבה מתכוונת להקים מכון ללימודי הוראה אשר יפעל בישיבה – מה שעלול היה בעיניהם לפגוע בחירות הלימוד בה. הרב שפירא הכחיש את הדברים, ובראיון שנערך עמו טען כי הוא נחשב כ"רבם המובהק" של הפורשים, ובשל כך היה אסור עליהם מצד ההלכה לחלוק עליו ולהקים ישיבה בעירו. במכתב שעליו חתמו כמה רבנים מבוגרי הישיבה נקראו הרבנים הפורשים ותלמידיהם לשוב לישיבה ולבקש מחילה מהרב שפירא. הרב מרדכי אליהו הוסיף בתחתית המכתב דברים בשבחו של הרב שפירא ובחומרת איסור ההתפלגות מהישיבה בראשותו.
קבוצת רבנים מוותיקי תלמידי הרצי"ה המשיכה ללמד בישיבה אחרי הפיצול ואחרי פטירת הרב שפירא, ביניהם: הרב יהושע רוזן, הרב חיים שטיינר, הרב יעקב פילבר, הרב מיכאל הרשקוביץ, הרב יצחק בן שחר, הרב חיים אביהו שוורץ. כמו כן, תלמידיו הרב יעקב אריאל, הרב אריה שטרן והרב דוד חי הכהן שלימדו בעבר בישיבה והפסיקו, חזרו בתקופה זו ללמד בה כהבעת חיזוק.
בשנת ה'תשס"ג הורה לבנו הרב יעקב אלעזר כהנא שפירא למסור לצדו שיעור כללי בישיבה. לאחר פטירתו בשנת ה'תשס"ח, נמסר כי בצוואתו הוא הוריש את תפקידו לבנו זה. בן נוסף, הרב שמואל, הוא מנהל הישיבה.
דיינות, ועדות ומכונים תורניים.