Zijn vader was een Sliedrechtse predikant, Johannes Visscher (1688-1759), zijn moeder was Ida Hillegonda Valckenier (1704-1747). Visscher studeerde rechten in Utrecht, en vestigde zich als advocaat in Amsterdam op de Keizersgracht bij de Schouwburg van Van Campen. In 1764 werd hij actief in de schutterij. In 1769 verkreeg hij de functie van derde pensionaris, maar werd ook benoemd als een van de negen directeuren van de Sociëteit van Berbice. In 1774 werd hij tweede pensionaris. In 1779 pleitte hij voor konvooien om de Amsterdamse schepen tegen aanvallen van de Engelsen te beschermen. Toen de Vierde Engelse Oorlog uitbrak, durfde Engelbert François van Berckel niet meer naar Den Haag te reizen. Visscher verving hem twee jaar lang.