Neben der noch gut erhaltenen, jedoch nicht zugänglichen Kilianschen Mühlsteingrube im Eschbachtal war die stadteigene Mühlsteingrube Waldshut im Schmitzingertal die größte Grube, sie erreichte am Ende der Betriebszeit eine Stollenlänge von 600 m. Die weißen Mühlsteine waren begehrt und wurden weit gehandelt. Xaver von Kilian lieferte seine Mühlsteine außer nach Baden auch nach Württemberg und Bayern sowie in die Schweiz, nach Frankreich und Ungarn. 1856 ersteigerte er zusammen mit dem Kaufmann Frowin Gantert auch die Stadtgrube für jährlich 777 Gulden Pacht. Im gleichen Jahr war die Hochrheinbahn eröffnet worden, was den Absatz erleichterte. An der 5. Landesindustrieausstellung 1861 in Karlsruhe erhielt er eine Silberne Medaille, 1862 nahm er an der Weltausstellung in London teil und stellte wieder zwei Mühlsteine aus, zu 67 und zu 70 Gulden. 1863 verstarb Frowin Gantert und von Kilian verzichtete auf die Pachtverlängerung.