Adolf Loos vokste opp som sønn av en steinhugger i Brünn. Han var ni år gammel da faren døde; faren hadde vært nesten døv, og dette forsterket hans tendens til å holde seg unna folk. Adolf Loos var likevel nært knyttet til faren, hvis påvirkning førte til at han fattet interesse for kunst og kunsthåndverk. Da han var nærmere 50 år gammel, var Adolf Loos selv blitt nesten døv.