Jabarkan Bergabung dengan NSDAP (1931–1934) dari Albert Speer

Pada bulan Januari 1931, Albert Speer mengajukan permohonan menjadi anggota Partai Buruh Nasional-Sosialis Jerman dan pada 1 Maret 1931, ia menjadi anggota dengan nomor anggota 474,481. Ditahun yang sama pula, dengan menyusutnya beasiswa karena Depresi, Speer berhenti sebagai asisten Tessenow dan pindah ke Mannheim dengan harapan menjadi seorang arsitek untuk menyambung hidup. Setelah gagal menjadi arsitek, ayahnya kemudian menyuruhnya bekerja paruh waktu sebagai seorang manajer dalam perusahaan ayahnya. Pada bulan Juli 1932, keluarga Speer mengunjungi Berlin untuk membantu partai sebelum pelaksanaan Pemilihan Umum Reichstag. Saat berada di sana temannya, pejabat Partai Nazi Karl Hanke merekomendasikan arsitek muda tersebut kepada Joseph Goebbels untuk membantu merenovasi markas besar Partai di Berlin. Ketika proyek tersebut selesai, Speer kembali ke Mannheim dan tetap di sana hingga Hitler mulai menjabat pada Januari 1933.

Penyelenggara Rapat Umum Nürnberg 1933 meminta Speer mengajukan desain Rapat Umum tersebut, membuatnya memiliki kontak dengan Hitler untuk pertama kalinya. Baik penyelenggara maupun Rudolf Hess tidak bersedia memutuskan apakah akan menyetujui rencana tersebut, dan Hess mengirim Speer ke apartemen Hitler di Munich untuk meminta persetujuannya. Karya ini membuat Speer mendapatkan jabatan nasional pertamanya, sebagai "Komisaris untuk Presentasi Artistik dan Teknis dari Demonstrasi dan Demonstrasi Partai Nazi".

Sesaat setelah Hitler naik ke tampuk kekuasaan, Hitler membuat rencana untuk membangun kembali gedung kekanseliran. Pada akhir 1933, Hitler mengontrak Paul Troost untuk merenovasi seluruh bangunan kekanseliran. Hitler mengangkat Speer untuk memanajemen lokasi bangunan untuk Troost. Sebagai Kanselir, Hitler diberikan rumah dalam kompleks gedung tersebut dan selalu datang setiap hari untuk diberikan pengarahan dan laporan oleh Speer dan pengawas bangunan sebagai bentuk progres dari proyek pembangunan tersebut. Setelah pengarahan tersebut, Hitler mengundang Speer untuk makan siang. Speer kemudian bagian orang dalam Hitler, dimana Hitler biasanya akan menelepon Speer untuk mengajak jalan pagi atau sekedar bercengkerama dalam memberikan konsultasi atas masalah-masalah konstruksi dan mendiskusikan ide-ide Hitler. Selain itu Speer juga sering diundang Hitler untuk makan malam.

Dalam memoarnya yang ditulis dalam Bahasa Inggris, Albert Speer mengatakan bahwa komitmen politiknya hanya untuk membayar "biaya bulanannya". Dia berasumsi para pembacanya di Jerman tidak akan mudah tertipu dan mengatakan kepada mereka bahwa Partai Nazi menawarkan "misi baru". Dia lebih berterus terang dalam sebuah wawancara dengan William Hamsher di mana dia mengatakan dia bergabung dengan partai tersebut untuk menyelamatkan "Jerman dari Komunisme". Setelah perang, ia menyatakan bahwa ia tidak mempunyai minat sama sekali terhadap politik dan ia bergabung dengan politik karena ada kesempatan. Seperti banyak orang yang berkuasa di Reich Ketiga, dia bukanlah seorang ideolog, "dan dia juga bukan seorang anti-Semit yang memiliki naluri". Sejarawan Magnus Brechtken, membahas Speer, mengatakan dia tidak memberikan pidato publik yang anti-Yahudi dan anti-Semitismenya dapat dipahami dengan baik melalui tindakannya—yang anti-Semit. Brechtken menambahkan bahwa, sepanjang hidup Speer, motif utamanya adalah untuk mendapatkan kekuasaan, pemerintahan, dan memperoleh kekayaan.