Hofhaimer kom fra en vel ansett musikerfamilie som også omfattet mange organister av lokal betydning. Han ble sannsynligvis utdannet ved hoffet til keiser Fredrik III av Det tysk-romerske rike. I 1478 er det dokumentert at han var aktiv ved hoffet til erkehertug Sigmund av Østerrike-Tyrol (1427–1496) i Innsbruck og i 1480 ble han Nikolaus Kronsdorfers etterfølger som kammerorganist. Samme år giftet han seg. Heinrich Isaac ble hoffkomponist noen år senere, så de to må med stor sannsynlighet ha kjent hverandre.