Haller von Hallerstein stammet fra en frankisk adelsfamilie. Etter avslutningen av sine filosofiske studier i Ljubljana begav han seg i 1721 til Wien og inntrådte der i jesuittordenen. Han studerte teologi og matematikk og ble presteviet i 1734.