נולד בפרשבורג שבממלכת הונגריה (כיום ברטיסלאבה, בירת סלובקיה). אביו, הרב יחיאל שלזינגר, היה ראש ישיבה ומתלמידיו של החת"ם סופר, וכן חוכר אדמות וחקלאי, החתם סופר השתתף בברית, ובאותו זמן הגיע השמועה על פטירת רבי עקיבא איגר והורה לקורא לתינוק על שמו, בנו עקיבה-יוסף התנסה גם הוא בחקלאות. למד בישיבת פרשבורג אצל "הכתב סופר" - בנו של החת"ם סופר. בגיל 19 למד גם בישיבתו של המהר"ם שיק ושל הרב חיים סופר. נשא את ליבה, בתו של הרב הלל ליכטנשטיין מקולמייא, והיה סמוך על שולחנו במשך כעשר שנים.
הוא יצא כנגד הנאולוגים בחריפות והגדיר אותם ככאלה שיצאו מכלל ישראל, אך את מירב מאמציו כיוון נגד הנאו-אורתודוקסים בהונגריה בראשות הרב עזריאל הילדסהיימר, שנחשבו בעיניו כתופעה חמורה ומסוכנת ליהדות יותר מכל רפורמה גלויה בשל כך שהכניסו את ההשכלה במסווה של אדיקות. יחד עם חותנו הרב ליכטנשטיין ושותפם הרב חיים סופר, פתח הרב שלזינגר בפעילות ענפה נגד כל גילוי של מודרניזציה, בין אם באימוץ שפות זרות או בלבוש. ב-1863 (ה'תרכ"ג) פרסם את ספרו הידוע ביותר 'לב העיבר"י' (ראשי תיבות: עקיבה יוסף בן רבי יחיאל), בו הטיף להיבדלות מוחלטת מהעולם החיצון. הוא קרא לא לשנות את השם, שפת הדיבור והלבוש, כשם שעם ישראל לא שינו אותם במצרים ובזכות כך נגאלו, וכתב: מושג השל"ם היה לסיסמתו של הרב שלזינגר.
הרב הילדסהיימר, קרבנו העיקרי שאף הוחרם על ידו, התייחס בציניות לשיטת חוגי הקנאים כ"דוקטרינות של עקיבה יוסף". כדי לקדם את חזונו המחמיר, נאלץ הרב הצעיר לצאת מתחומי ההלכה לעיתים קרובות ולפנות לפסיקה על פי הקבלה, שכן האיסורים שהטילו הוא ובני חוגו נעדרו תדירות בסיס מוצק בספרות ההלכתית.
בראותו כי ההשכלה והיהדות הנאולוגית מוצאת כר פעילות נרחב בגלות, התגבשה שיטתו כי המשך קיומו של העם היהודי אפשרית רק בארץ ישראל, והחל להטיף לעלות אליה. אף כי הגותו הייתה מעוגנת בהשקפה הדתית, הוא והרב ליכטנשטיין חרגו מעבר לרעיונות מסורתיים אל מה שהיה קרוב לחשיבה לאומית. בעוד שהן הנאו-אורתודוקסים של הרב הילדסהיימר והן רבנים שמרנים כמו מהר"ם שיק לא ראו כל בעיה בתפישה עצמית של היהודים כגרמנים או כהונגרים "בני דת משה", ודאי לא מן השפה ולחוץ, הרב שלזינגר התנגד לכך.
עלייתו לארץ.
בתחילת שנת ה'תר"ל (1870), בעקבות סדרת חלומות, החליט כי הגיע הזמן לעלות לארץ ישראל. בעידודו של חמיו, שהבטיח להמשיך לתמוך בו, התחיל בהכנות לעליה. כשיצא לדרך לא היה בידו סכום כסף מספיק כדי לממן את הנסיעה ועל-כן הוא עבר בדרכו בכמה קהילות יהודיות ברחבי הונגריה כדי לבקש סיוע. להפתעתו, לא רק שלא זכה לסיוע אלא אף הופעל עליו לחץ הפוך. כשהגיע לסיגט קרא לו רבי יקותיאל יהודה טייטלבוים וניסה לשכנעו שלא לעלות. משלא השתכנע, פרסם האדמו"ר כרוז הקובע כי מי שיסייע בידי הרב עי"ש לעלות הריהו כמסייע בידי עוברי עבירה. כשהגיע לקהילת בעטלאן הפצירו בו אנשי הקהילה לקבל על עצמו משרת רבנות בעירם, אך הוא ענה להם: "כבר כתבתי תנאים עם כלה אחרת היא ארץ ישראל אשר לא אוכל לביישה".
הרב טייטלבוים שלח מברק לחמיו של הרב שלזינגר, והלה שלח לחתנו כי הוא מבקש ממנו שיחזור אליו לעיר קולומייא. הוא מספר כי תקופה קצרה לאחר שחזר אל בית חמיו בקולומייא התחרט חמיו וסיפר כי חלומות רעים החלו לפקוד אותו, והוא היה בא אליו מפעם לפעם לפנות בוקר וצועק לו בחלונו "סע לארץ ישראל כי אין לי מנוחה בלילה". אולם מכיוון שהחורף הגיע המתין הרב שלזינגר עד הקיץ, ואז נסע לארץ ישראל בסיוע חמיו.
בחודש אב ה'תר"ל (1870) הגיע לארץ ישראל. הוא התיישב בבית המערבים שבירושלים, במקום ממנו ניתן לצפות לעבר מקום בית המקדש.
בספרו ברית עולם הוא מזרז את מי ש"עיניהם יהיו בראשיהם ויראו את הנולד", למכור את רכושם אפילו בהפסד ולעבור לארץ ישראל ומציע אפילו למכור לשם כך את כתרי ספרי התורה. עוד מציע שבני הגולה יתנו מעשר מהכנסתם לחיזוק בנין הארץ ולהקמת בתי חרושת, "להרבות בית והון שדה וכרם ופאבריקען (בתי חרושת)". הוא כותב שאם יהיו בארץ ישראל שישים ריבוא יהודים - האומות יתנו לישראל למשול בה. שלזינגר ראה בבניינה של הארץ את קיום מצוות יישוב ארץ ישראל, ואת הקץ המגולה, ועודד את היהודים לעלות לארץ ולהקים בה חקלאות, תעשייה ואף צבא יהודי. הוא קרא למפעלים הללו בשם "כולל ההתיישבות". בשנת ה'תרמ"ד (1884) ביקר אצל רבני גליציה כדי לפעול ליישוב יהודים בפתח תקווה אולם נתקל בהתנגדות עזה של האדמו"ר מוויזניץ', שהזהירו שיחדל מכך, מה שהרתיע את חמיו, שלא רצה לעורר שוב את המחלוקת החריפה שהייתה בינו לאדמו"ר באותה תקופה בעניין שחיטה.
פעילותו בארץ ישראל.
עם עלייתו נתקבל בכבוד גדול על ידי מנהיגי היישוב הישן, אשר שטחו בפניו את צרותיהם וביקשו את עזרתו. בתחילה פרש מכל עסקנות ציבורית ועסק בתורה. מדי לילה היה עורך "תיקון חצות" ותפילה על הגאולה. מאוחר יותר החל לחפש דרך לקיום היישוב מלבד כספי החלוקה. לשם כך הוא יצא עם חמורו לתור את הארץ. הוא יצא בחריפות נגד הקמת "בתי מחסה" שעליה הכריזו עסקני כולל הו"ד ואמר שהקמת מספר בתים בתרומות הגולה לא תפתור את מצבו של היישוב. הוא טען כי עצם ההסתמכות הקבועה על נדבת ידה של יהדות הגולה היא מקור בעיותיו של היישוב. לכן, דרש לצאת לעבודה ולחקלאות. יחד עם תלמידיו, בהם יואל משה סלומון, הקים את "חברת מחזירי עטרה ליושנה" (כונתה בספרו גם בשם: "כולל העברים") שמטרתה כינון חברה יצרנית המבוססת על ערכי התורה ותחיית השפה העברית. עם זאת, הוא ביקר את גישת מחיי השפה החילוניים. הוא קרא לאחד את כל ה"כוללים" של היישוב הישן לכולל אחד, "כולל העברים", שעיקר מטרתו תהיה לגאול את הארץ וליישבה. גאולת הארץ תהיה במימון היהודים בארץ ובתפוצות, באמצעות מסים, תרומות, יוזמה פרטית של חברות מניות והון לאומי ממגביות מיוחדות.
הוא שלח שליח לחו"ל לקבל את תמיכתם של הרבנים בתוכנית להקמת מושבות, ורבנים רבים נענו לו וכתבו מכתבי תמיכה, ביניהם הרב שמעון סופר, הרב יקותיאל יהודה טייטלבוים, והרב שלמה גאנצפריד.
לאחר שסייר בסביבות חברון יחד עם דוד גוטמן, יהודי עשיר מהונגריה, כתב: "באנו וראינו מה שלא פיללנו לראות בארץ ישראל: עשרים וששה הרים פוריים ויערות עצים צומחים עליהם. בין ההרים משתרע מישור פורח ובשני מקומות מצאנו גם חורבות עתיקות ובהם עמודים עתיקי ימים מאוד. התפללתי שם שחרית ומנחה וגם מעריב ומעולם לא כיוונתי את לבי כמו בתפילה ההיא ואפילו לא ביום הכיפורים, דמעות זלגו מעיני בזכרי מה אבד לנו. אי אפשר לי לתאר כלל את המקומות האלה, העזובים מבניהם זה אלפי שנים, כיצד הם לובשים גיל בשוב אליהם יהודים".
בעקבות פעולות אלו, הוחרם ונודה על ידי רבני ירושלים. הוא מצא לו ידידי נפש בין הספרדים ובהם רבה של חברון, הרב אליהו סלימאן מני. באמצעותו הגיעה אליו הצעה לרכישת ארבעת אלפים דונם ליד חברון. יחד עם גוטמן, כשבהמשך הצטרף אליהם יהושע שטמפפר, ניסה לבצע את הרכישה, שנודעה גם לרב יהודה אלקלעי - שתמך בה ברבים, אולם הרכישה נכשלה. הרב שלזינגר לא הרפה מקנייה זו גם לאחר שנקנתה כבר אדמת פתח תקווה. הוא עזר להתיישב בקבר יוסף, קבר רחל ויריחו ורכש אדמות בפתח תקווה עם גוטמן ויואל משה סלומון, בעידודו ובסיועו של חמיו, הרב ליכטנשטיין. את האדמות שקנו פיצלו למאה חלקות ומכרו אותן ליהודים שרצו לעסוק בחקלאות. הוא עיבד את נחלתו, ואף העלה ממנה עשרים גמלים טעונים מעשרות לירושלים, וחילק מעשר ראשון לכוהנים ולויים, ומעשר עני לעניים.
בשנת תר"ל (1869–1870) הוא ניסח תוכנית ותקנות לניהול מדינה יהודית ברוח ההלכה, ואף תוכנית להקמת כוח מגן צבאי ובו גדודים בשמות "שומריאל" ו"לוחמיאל".
לאחר הקמת שכונת אבן ישראל מחוץ לחומות (כונתה גם "שכונת המשכילים"), עבר להתגורר בה עם משפחתו.
בערוב ימיו, יסד את אגודת "רמתיים צופים" לרכישת אדמות מצפון לנבי סמואל.
הרב שלזינגר נפטר בירושלים ביום א' באייר ה'תרפ"ב, שבת פרשת תזריע-מצורע, ונקבר בלוויה המונית במוצאי השבת.
נכדו הרב נחום וייספיש (בן חתנו הרב דוד בהר"ן) התיישב במושבה מאיר שפיה, והיה חקלאי ואחראי על קיום ה"מצוות התלויות בארץ" בשפיה ובכרמי הענבים של זכרון יעקב. נרצח במאורעות תרצ"ו-תרצ"ט בדרכו לכפר פוריידיס. נינו הוא הרב אברהם אהרן שינברגר.
המחלוקת סביבו.
בספרו "בית יוסף חדש" כתב כי במקרה שאדם מישראל עולה לארץ ישראל ואשתו אינה מסכימה להתלוות אליו - הריהו רשאי לשאת אשה שנייה על פניה בארץ ישראל, למרות החרם דרבנו גרשום. תקיפי ירושלים התקוממו כנגדו והכריזו עליו חרם. כל בני כולל אונגרין היו צריכים לחתום על הסכמתם לחרם או על כתב פלסתר שנשלח לחו"ל - בשעה שבאו לקבל את קצבת ה"חלוקה". על השולחן היה מונח ה"כתב" וכל אחד "נתבקש" לחתום לפני קבלו את הכסף. רק בודדים עמדו בלחץ הזה. ביניהם היו יהושע שטמפפר ור' מנחם מאניש שיינברגר, רעיו ועמיתיו של הרב שלזינגר. ר' מנחם מאניש הכה באגרופו על השולחן עד שהועף ממנו ה"כתב" וצעק: "צלם העמידו על השולחן הזה, וַישתחוו לו כולם עבור כסף נמאס!". נמנע ממנו לקבל מכספי החלוקה וקרוביו הוצרכו לשלוח כסף לפרנסת משפחתו.
מתנגדיו ביישוב הישן איימו לפגוע בו פיזית, עד שנאלץ להסתגר בביתו. הקונסול האוסטרי הציע לו חסות והגנה אך הוא סירב. כמו כן סירב להצעת משפחתו לשוב לכהן בהונגריה כרב קהילה גדולה וכתב להם "טוב למות בירושלים מלמלוך במצרים".
בעקבות בקשתו לחדש את תכלת הציצית, תקיעת השופר בירושלים בראש השנה שחל בשבת, והקרבת קרבן הפסח במקום המקדש, התקיפוהו קנאים ורדפוהו.