Zum ersten Mal in Erscheinung trat er laut Bayreuther Kammerrechnung von 1542: „" fl maister Caspar Steinmetz von Culmbach zu uererung als man Inn zw Statmeister angenomen vnd aber nit verzogen ist"“. Diese Stelle nahm er nicht an, wahrscheinlich um den Auftrag als Steinmetz am Bau des Schlosses Rosenau anzunehmen, welchen er 1547 abschloss. 1548 arbeitete er als zweiter kurfürstlicher Baumeister am Ottheinrichsbau des Heidelberger Schlosses. Am 1. Juli 1561 beauftragte ihn Markgraf Georg Friedrich von Ansbach-Kulmbach, die im Bundesständischen Krieg zerstörte Plassenburg wiederaufzubauen. In der Stellung als "Oberster Baumeister" blieb Caspar Vischer bis zu seinem Tode, als die Plassenburg noch nicht fertiggestellt war. Ab 1573 baute er am Zeughaus und an den Befestigungsanlagen. Sein Baustil war maßgeblich von seinem Lehrmeister Paul Beheim inspiriert.