Apja, Schmierl Valentin (1823-1900), 1848-as honvéd vadászhadnagy, édesanyja bajsai Vojnits Mária (1834-1885) volt. Édesapja miután részt vett az 1848–49-es forradalom és szabadságharc küzdelmeiben, nevét Törley Bálintra magyarosította. A magyar név kiválasztásában szerepet játszott, hogy eredeti német neve, Schmierl, a schmierenből illetve a streichenből származik, ami annyit jelent, mint kihúzni, törölni (Törlei). A vadászhadnagy, Törley Bálint, a szabadságharc leverése után követte Kossuth Lajost a törökországi Sumlába az emigrációba, ahol az érdemes honfi Kossuthtól írásos dicsérő elismerést kapott. Törlei Bálintnak és feleségének, Vojnits Máriának hat gyermeke született, három fia és egy lánya érte meg a felnőttkort: Törley Antal (1853–1899), Törley Gyula (1855–1934), Törley József (1858–1907) és Törley Ilona (1859–1884). 1896 április 1-jén I. Ferenc József magyar király nemességet és előnevet adományozott Törley József budapesti pezsgőgyáros és nagybirtokosnak.