Альберт Шпеер родился в Мангейме в семье архитектора Альберта Фридриха Шпеера и его жены Луизы Матильды Вильгельмины, урождённой Хоммель. У него было двое братьев — старший Герман (род. 1902) и младший Эрнст (род. 1906, пропал без вести под Сталинградом в 1943 году). С 1911 по 1918 год учился сначала в частной школе, а затем в реальном училище (ныне гимназия имени Лессинга). В 1918 году семья переехала в Гейдельберг, поселившись на просторной вилле из 15 комнат, которую отец построил в качестве инвестиции и летнего дома. Причиной переезда стал земельный участок размером 30000 квадратных метров, на котором в период острой нехватки продуктов питания можно было выращивать овощи. Шпеер продолжил обучение в местном Высшем реальном училище (ныне гимназия имени Гельмгольца). Весной 1922 года познакомился со своей будущей женой Маргаретой Вебер (1905—1987). В 1923 году по настоянию отца поступил на архитектурный факультет Университета Карлсруэ, но вскоре пришло разочарование. В одном из писем Маргарете Шпеер жаловался на «скучных профессоров, глупые занятия и ужасно провинциальный город». Весной 1924 года он перевёлся в Мюнхенскую высшую техническую школу. Здесь он встретил учителей, у которых, как он впоследствии писал своим детям, «учёба доставляла удовольствие». В этот период он также познакомился с Рудольфом Волтерсом, тесные отношения с которым у него сохранились на всю жизнь. Осенью 1925 года Шпеер перевёлся в Берлинскую высшую техническую школу. Он очень хотел записаться на семинар Ганса Пёльцига, но тот набирал ограниченное число студентов. Поэтому ему пришлось пойти сначала к Эриху Блунку, а потом к Генриху Тессенову. Получив в ноябре 1927 года диплом, он вместе с Волтерсом работал помощником Тессенова в Академии искусств. В апреле 1929 года из-за нехватки заказов Волтерс был уволен, а Шпееру Тессенов предложил стать своим научным ассистентом в Высшей технической школе.