Jabarkan Arsitek Nazi (1934–1937) dari Albert Speer

Paul Troost meninggal pada 21 Januari 1934, dan secara efektif Albert Speer menggantikannya sebagai Arsitek Utama Partai. Hitler mengangkat Speer sebagai Kepala Kantor Utama Konstruksi yang menempatkannya sebagai staf Rudolf Hess secara simbolis.

Salah satu proyek Speer setelah kematian Troost adalah proyek Stadium Zeppelinfeld di Nürnberg. Zeppelinfeld digunakan untuk kampanye dan rapat umum raksasa Partai NSDAP dan dapat dilihat dalam film Propaganda Triumph of the Will karya Leni Riefenstahl. Zeppelinfeld dibangun dengan kapasitas 340.000 orang. Speer juga yakin bahwa banyak kegiatan dan event dapat dilakukan pada malam hari, untuk memperbagus efek pencahayaan panggung. Selain itu Nürnberg adalah lokasi yang banyak terdapat bangunan perkantoran Nazi. Speer melakukan perubahan pada desain Stadion Olimpiade Berlin karya Werner March yang akan dibangun sebagai tempat utama pelaksanaan Olimpiade Musim Panas 1936. Speer menambahkan sejumlah eksterior bebatuan yang mengesankan Hitler. Selain itu Speer juga mendesain Paviliun untuk Pameran Internationale des Arts et Techniques dans la Vie Moderne tahun 1937.

Inspektur Jenderal Pembangunan Berlin (1937–1942)

Pada 30 Januari 1937, Hitler melantik Speer sebagai Inspektur Jenderal Pembangunan Ibukota Reich. Jabatan baru Speer ini dapat disejajarkan dengan jabatan menteri dalam pemerintahan nazi dan memberikan Speer kekuasaan luar biasa atas pemerintah Kota Berlin. Speer diminta untuk melaporkan hasil pekerjaannya langsung kepada Hitler dan bebas dari pengaruh Walikota dan Gauleiter Berlin. Hitler memerintahkan Speer untuk mengembangkan rencana-rencana dalam membangun ulang Berlin. Rencana-rencana tersebut terpusat di sebuah lahan sebesar 3 km persegi yang diberi nama Prachtstrasse  yang berarti Jalan Keagungan. Diujung utara jalan tersebut, Speer berencana akan membangun Volkshalle, sebuah bangunan berkubah dengan ketinggian sekitar 700 kaki (210 meter) dengan perkiraan kapasitas dapat menampung sekitar 180.000 orang. Sedangkan di ujung Selatan Prachtstrasse , akan dibangun sebuah Monumen Kemenangan Besar setinggi 400 kaki (120 meter) dan diperkirakan mampu memasukkan Arc de Triomphe ke dalam pembukaannya, yang telah direncanakan. Rel kereta api yang ada rencananya akan dihancurkan dan akan dibangun dua stasiun besar. Speer mengontrak Wolters sebagai bagian dari tim perencanaan dan desainnya, dengan tanggung jawab khusus atas Prachtstrasse. Namun pecahnya Perang Dunia II pada tahun 1939 menyebabkan terhambatnya pembangunan itu dan akhirnya kemudian dibatalkan/ Setelah menyerahnya Nazi, Speer sendiri dianggap “mengerikan”.

Rencana-rencana untuk membangun Gedung Kekanseliran yang baru telah dicanangkan sejak tahun 1934. Lokasi tanah telah dibeli pada akhir tahun 1934 dan pembangunan gedung telah dimulai pada bulan Maret 1936. Bangunan pertama telah diruntuhkan untuk memberikan ruang di Voßstraße. Speer juga terlibat secara virtual dari awal pembangunan. Setelah Malam Pisau Panjang, ia ditugaskan untuk merenovasi Istana Borsig yang terletak di ujung Voßstraße dan Wilhelmstraße untuk dijadika sebagai Markas Besar Sturmabteilung (SA). Speer menyelesaikan pekerjaan awal untuk pembangunan Gedung Kekanseliran pada bulan Mei 1936. Pada bulan Juni 1936 ia diberikan anggaran sebesar 30.000 Reichsmark dan diperkirakan pembangunan Gedung Kekanseliran akan selesai dalam tiga atau empat tahun. Rincian perencanaan telah diselesaikan pada tahun 1937, dan pembangunan pertama kantor kanselir baru selesai pada tanggal 1 Januari 1938. Pada 27 Januari 1938, Speer menerima kekuasaan penuh dari Hitler untuk menyelesaikan gedung kekanseliran baru pada 1 Januari 1939. Untuk propaganda, Hitler mengklaim pada upacara penutupan pada tanggal 2 Agustus 1938, bahwa dia telah memerintahkan Speer untuk menyelesaikan pembangunan kantor kekanseliran pada tahun itu. Kekurangan pekerja berarti para pekerja harus bekerja selama 10 sampai 12 jam dalam satu shift. SS juga membangun dua kamp konsentrasi pada tahun 1938 dan mempekerjakan para tahanan kamp sebagai pembawa bahan konstruksi. Sebuah pabrik bata juga dibangun dekat Kamp Konsentrasi Oranienburg atas perintah Speer; ketika seseorang mengomentari kondisi buruk di sana, Speer menyatakan, "Suku Yid terbiasa membuat batu bata mereka menjadi tawanan Mesir". Gedung kanselir selesai dibangun pada awal Januari 1939. Bangunan itu sendiri dipuji oleh Hitler sebagai "mahkota kejayaan kerajaan politik Jerman yang lebih besar".

Sewaktu proyek gedung kekanseliran sedang digarap , Pogrom Kristallnacht sedang berlangsung., Speer tidak menyebutkan proyek itu dalam draf pertama buku Inside the Third Reich. Hanya atas saran mendesak dari penerbitnya, dia menambahkan penyebutan reruntuhan Sinagoga Pusat di Berlin dari mobilnya. Kristallnacht mengakselerasikan usaha Speer dalam mengusir para yahudi yang ada di Berlin. Dari tahun 1939 dan seterusnya, Departemen yang berada dibawah kendali Speer menggunakan Hukum Nürnberg untuk mengusir orang Yahudi yang menyewa rumah dari tuan tanah non-Yahudi, sebagai jalan pembuka agar para penduduk non-Yahudi yang mengungsi akibat terkena pemboman atau pembangunan ulang. Bahkan sekitar 75.000 orang Yahudi telah diusir. Speer menyangkal bahwa ia tahu mereka sebenarnya telah ditempatkan di kereta-kereta Holokaus dan mengatakan bahwa mereka diusir dengan tetap mengusahakan kebebasan dan keutuhan keluarga Yahudi seperti saat mereka masih berada dalam apartemen mereka. Speer juga mengatakan :"... dalam sebuah jalan menuju kementerianku, Aku dapat melihat kerumunan orang diatas peron Stasiun Nikolassee. Aku tahu bahwa mereka pasti orang Yahudi Berlin yang akan dievakuasi. Aku yakin bahwa perasaan tertindas sedang menyerangku sehingga aku berlalu dengan cepat. Aku mungkin merasakan kejadian yang menyedihkan". Mathias Schmidt mengatakan bahwa Speer secara pribadi menginspeksi kamp konsentrasi dan menggambarkan komentarnya sebagai sebuah "lelucon langsung". Martin Kitchen juga mengatakan bahwa Speer selalu mengulang-ulang apa yang ia tidak ketahui dari sesuatu yang mengerikan seperti sebuah lubang, karena tidak hanya merasa sepenuhnya sadar akan mengenai nasib orang-orang Yahudi, dimana dia secara aktif berpartisipasi dalam penganiayaan mereka.

Saat Jerman memulai Perang Dunia II di Eropa, Speer memerintahkan unit cepat tanggap untuk membangun jalan-jalan atau membersihkan puing-puing, sebelumnya unit ini telah digunakan untuk membersihkan kawasan bom. Speer menggunakan tenaga buruh Yahudi untuk melaksanakan proyek itu dengan ditambah para pekerja Jerman. Pembangunan-pembangunan di Berlin dan Nürnberg kemudian terhenti akibat pecahnya perang. Meskipun penimbunan material dan pekerjaan lain terus berlanjut, hal ini terhenti karena diperlukan lebih banyak sumber daya untuk industri persenjataan. Speer melakukan pekerjaan pembangunan untuk setiap cabang militer, dan untuk SS, dengan menggunakan tenaga kerja budak. Pekerjaan pembangunan yang dilakukan Speer menjadikannya salah satu elit Nazi terkaya.