Sailer var sønn av en fattig skomaker i Aresing. Han gikk på hjemstedets folkeskole til han var ti, og deretter på gymnasium i München.