Permoser gikk først på skole i Salzburg, hos Wolf Weißenkirchner den yngre, senere i Wien, der han lærte å hugge skulpturer i elfenben.