Fra 1710 oppholdt Weiss seg i Roma som ledsager for den polske prinsen Alexander Sobieski. I Roma ble Weiss kjent med flere av tidens mest kjente musikere, blant annet Alessandro og Domenico Scarlatti og Johann David Heinichen. Oppholdet i Roma var av stor betydning for Weiss' musikalske utvikling. I 1714 vendte han antakelig tilbake til sin opprinnelige tjenesteherre Karl Philipp som nå residerte i Innsbruck.