Greve Eberhard I av Württemberg ansatte ham som sin privatsekretær og i denne posisjonen fulgte han greven til Roma i 1492 for å delta i en audiens hos pave Sixtus IV. Der vakte han grekernes forbauselse gjennom sine kunnskaper i gresk og i henhold til de skikkene som var på den gangen ble hans navn gjort greskklingende av hans venner i Roma til (Καπνίων), et tilnavn som Reuchlin siden benyttet som en form gjennomsiktig maske da han introduserte seg selv som en (samtalepartner) i hans første betydelig verk . På tilbakereisen fra Roma fikk han i Firenze lære å kjenne flere framstående humanister som var samlet rundt hoffet til Lorenzo de' Medici.