I år 1893 står Olaf Olsen for første gang oppført som eier i Møllergade 2. I 1900 står sagmester Olaf Olsen stadigvekk oppført som eier, men denne gangen sammen med sin kone og syv barn. Ettersom sagbruket lå i nærheten av fossen, var dette et gunstig område for Olaf og familien å bosette seg i. Sagbruket dukket opp fra omtrent 1530 i mosseelva. Den gangen (slutten av 1500 tallet) var det "utømmelige" kilder med trær i området og det oppsto raskt lønnsom aktivitet. Bøndene kom med tømmer, fikk betalt, og handlet med seg varer og utstyr. I første halvdel av 1600-tallet (1632) var det over 50 sagbruk knyttet til fossen. I andre halvdel av 1600-tallet (1661) var det 36 sagbruk og 12 kverner. Sagbruksvirksomheten sank, men antall kverner økte på 1700-tallet i Moss. Dette skyldes betydelige militære forretninger og en livligere handel med omegnen. Det var tilgangen på korn i Moss som gjorde at militæret befant seg rundt i byen. Allikevel ble dette sett som en negativ ting ettersom innbyggerne ble tvunget til å gi fra seg korn hver gang det var krig og uro. På 1800-tallet økte møllerdriften igjen, ettersom det i 1811 var registrert 10 møller langs fossen, mens det i 1882 var registrert 14 møller i Moss.