I 1898 kjøpte han sin første båt og drev skipsrederi i eget navn. Som en av de første rederne i Bergen, omdannet han i 1912 rederiet til et aksjeselskap, det som senere fikk navnet J. Ludwig Mowinckels rederi. Allerede før første verdenskrig var det Bergens tredje største målt i tonnasje. I mellomkrigstiden hadde rederiet stor vekst, særlig i tank- og linjefarten.