Etter utbruddet av andre verdenskrig i september 1939 ble to av de ukentlige hurtigruteseilingene innstilt. Som et resultat av dette lå DS «Richard With» to måneder i opplag høsten 1939 . Etter angrepet på Norge i 1940 ble alle hurtigruteavganger innstilt, men ble gjenopptatt etter en tid med Mosjøen som sørligste anløp. 5. mai 1940 var DS «Richard With» på vei til Harstad da tyske bombefly gikk til angrep. Kapteinen valgte å sette skipet på grunn for å unngå tap av menneskeliv, men flyene lyktes ikke å treffe henne. Skipet ble senere trukket av grunnen og reparert i Trondheim. 13. september 1941 var DS «Richard With» på sørgående mellom Honningsvåg og Hammerfest. Ved Rolvsøya klokken 11:00 avfyrte den britiske ubåten HMS «Tigris» en torpedo mot skipet uten å treffe. Ubåten avfyrte en ny torpedo som traff DS «Richard With» midtskips. Skipet brakk i to og sank i løpet av få minutter. 31 mennesker ble reddet av fiskeskøyten «Skolpen» som var i nærheten, men 99 mennesker omkom.