עלי אכבר האשמי רפסנג'אני נולד בעיירה בהרמן ליד העיר רפסנג'אן שבמרכז איראן, למשפחה עשירה של מגדלי פיסטוק. היו לו שבעה אחים ואחיות. בגיל 14 הוא נסע ללמוד תאולוגיה בקום. שם נחשף לרעיונות של אייתוללה רוחאללה ח'ומייני. לפני המהפכה האסלאמית השתייך למחנה הפעילים נגד משטרו של השאה מוחמד רזה פהלווי, ונכלא בין השנים 1960 ל-1979 שבע פעמים. ח'ומייני מינה אותו כמנהל פיננסי של תנועת ההתנגדות וכאיש הקשר עם קבוצות מהפכניות אחרות.