毕业于日本陆军士官学校第四期。清末曾任禁卫军马队统带。中华民国成立后，历任总统府参议办公处参议、侍从武官、五省联军总司令部参谋处长、淞沪警察厅长、行政院驻平政务整理委员会顾问等职。1935年（民国24年）6月，他任天津市公安局长，翌年兼任工务局长。汪精卫的南京国民政府成立后，刘玉书参加。刘在1943年（民国32年）2月任北京特别市市长。1945年（民国34年）2月辞任，3月任华北政务委员会委员。日本投降后，1945年12月5日，刘玉书在北平被以汉奸罪逮捕，1946年（民国35年）10月31日被判处有期徒