Nach dem Tod des Mainzer Stadtbaumeisters Joseph Laské 1863 wurde eine Stelle für einen Bewerber mit Kreisbaumeisterexamen ausgeschrieben. Von den 14 Bewerbern kamen vier in die nähere Auswahl: Franz Joseph Usinger (1829–1908), der Interimsleiter des Bauamtes, der seine Bewerbung aber zurückzog, C. Wetter, der später in Aschaffenburg tätig war, Ludwig Bohnstedt und Kreyßig, der sich mit Zeugnissen von Horst bewarb und in der Gemeinderatssitzung vom 8. November 1864 gewählt wurde. Am 4. Februar 1865 trat er sein Amt als Stadtbaumeister von Mainz an, zunächst fünf Jahre auf Probe. Seine Aufgaben waren die Planung und Bauleitung der städtischen Neubauten und die Durchführung der Bauunterhaltung; die Anlage neuer Straßen und die Herstellung der Wasserversorgung; die Aufsicht der Rheinufer und Häfen; die Betreuung der Friedhöfe und Gärten; die Aufsicht über Feuerwehr und Beleuchtungsanlagen und die bauaufsichtliche Kontrolle der privaten Neubauten. Zunächst gab es keine größeren Bauaufgaben, nur Bauunterhaltung und Ausbesserung waren zu erledigen. So blieb ihm Zeit zu einer Studienreise zur Weltausstellung 1867 nach Paris, wo er die Umgestaltung der französischen Hauptstadt durch Georges-Eugène Haussmann ansah. Dies übte einen nachhaltigen Einfluss auf ihn auf. Er wandte sich von der Neugotik ab und seine späteren Bauten zeigen Neorenaissance- und Neobarock-Elemente. Nachdem es nach dem Deutsch-Französischen Krieg wirtschaftlich aufwärtsging, brachten die Rheinregulierung und die Stadterweiterung viele neue Aufträge, sowohl für städtische als für auch private Bauten.