Under første verdenskrig ledet han Fred. Olsen & Co. sitt kontor i San Francisco. På 1920-tallet slet han mye med sykdom, noe som gjorde det vanskelig å fortsette redervirksomheten. Fritz Olsen døde i 1929 etter lengre tids sykeleie.