Der Lodenstoff war immer schon das Aushängeschild Freys und so entwickelte er 1855 den ersten wasserabweisenden Loden. Er gewann dafür an der Pariser Weltausstellung desselben Jahres die Goldmedaille und erlangte auch international große Aufmerksamkeit. Der deutsche und österreichische Adel um Kaiser Franz Joseph I. trug von nun an das Jagdgewand aus Loden von Lodenfrey und ermöglichte somit den Bau einer ersten eigenen Fabrik. Der Hauptsitz der Firma wurde in ein Zentrum der illustren Kreise des Münchner Adels, in das neu erworbene Dianabad verlegt. Das Bad wurde erst zu einer Naturheilanstalt ausgebaut, bevor hier 1862 eine erste mechanische Schafwollspinnerei und Tuch- und Wollwarenfabrik errichtet wurde. Bereits kurze Zeit später wurde das Dianabad verkauft, 1870 begann der Bau der großzügigen Fabrikanlage in der Osterwaldstraße in Schwabing, dem heutigen Lodenfrey-Park. 1870/71 wurden im Deutsch-Französischen Krieg die Uniformmäntel aus dem Lodenstoff von Frey gefertigt.