I stedet gjorde han Franziska Matzelsberger gravid, og hun ville ha Klara ut av huset. Alois så respektabel ut, men i dag vet man at han fikk et barn utenfor ekteskap på 1860-tallet, og hadde rykte på seg for å legge seg etter unge jenter. I 1882 fikk Franziska en sønn som fikk navnet Alois etter sin far. Da Anna Hitler døde i 1883, giftet Alois seg med Franziska, og to måneder etter bryllupet fikk de barn nr 2, Angela Hitler. Men Franziska ble syk av tuberkulose, og Alois ba Klara Pölzl om å komme tilbake for å ta seg av de to små barna. Franziska døde bare 23 år gammel i august 1884. Alois hadde da innledet et forhold til Klara, og 7. januar 1885 giftet de seg med dispensasjon fra biskopen. Alt fire måneder senere kom det første barnet, Gustav, i mai 1885. I september 1886 kom det neste barnet, Ida, og senere enda en sønn, Otto, som døde etter bare noen dager. I desember 1886 fikk både Gustav og Ida difteri og døde i løpet av noen uker. Først i april 1889 kom det fjerde barnet til verden - Adolf Hitler. Edmund ble født i 1894, men døde av meslinger seks år gammel. Den yngste, Paula Hitler, ble født i 1896.