Som en sønn av en vinhandler studerte Pfrimer jus ved universitetet i Graz og fikk doktorgrad i 1906. Som student ble han medlem av og dessuten en ivrig tilhenger av tysk nasjonalisme i Østerrike. Han ble sterkt influert av den antisemittiske Georg Ritter von Schönerer før han slo seg ned som advokat i Judenburg.