Speer ble personlig hardt rammet av krigen da hans bror Ernst Speer (1906-1943) omkom i slaget om Stalingrad. Han er aldri blitt funnet. Siste tiden lå han på et feltsykehus uten vegger og bare delvis dekket av tak, syk av gulsott, med oppsvulmete bein og nyresmerter. Moren gråt i telefonen til Albert som hadde sendt Ernst til østfronten med løfte om forflytning til Frankrike straks felttoget var over. I det siste brevet fra Ernst skrev han at han var dradd tilbake til fronten i sin elendige tilstand, heller enn å se kameratene sine dø rundt seg på feltsykehuset. Erhard Milch ble sendt til Stalingrad for å stå for en overvåkning av luftforsyningen fra 15. januar 1943. Speer fulgte ham til lufthavnen. Milch lovet å prøve å finne Ernst og få ham ut med fly, men både Ernst Speer og restene av enheten hans viste seg å være sporløst borte, «savnet, antagelig døde». Et brev kom ut med fly, «fortvilt over livet, sint på døden, bitter på meg, sin bror».