この「four times」は名詞「work」にかかる形容詞で、4倍の仕事があるという意味です。この中で名詞なのは「work」だけです。これを「the work of four times」に変えると不自然ですが、代わりに「the work has increased by four times」や「the work is four times as much」と言ってもいいでしょう。
例: He has been to three times as many countries as I have.（彼は私より3倍多くの国に行っている）