Tre år etter, i 1883 overtok HSD Det Vestlandske Dampskibsselskab, som hadde tre dampskip, og selskapet hadde da tilsammen seks dampskip i sin tjeneste. Etter dette vokste selskapet jevnt og trutt, og i 1930 hadde selskapet 14 dampskip og tre motorskip på tilsammen 4.295 brutto reg. tonn. Selskapets første motorskip var MS Austli som ble kjøpt i 1920. I 1938 bygget HSD sin første rene bilferge, MF «Folgefonn».