教授查尔斯·道奇森（笔名路易斯·卡罗）与包括爱丽丝在内的李道尔家小孩时常来到植物园。小说《爱丽丝梦游仙境》中红心王后的槌球场灵感即来自于牛津大学植物园。J·R·R·托尔金于牛津大学任教期间，也时常来到植物园。他特别喜欢其中的一棵黑松树，将其取名为「拉奥孔」。因此一些人认为该棵黑松树是《魔戒》小说中树人的灵感来源之一。该棵黑松树已于2014年8月遭砍除。在菲力普·普曼小说《zh-hans:黑暗物质三部曲;zh-hant:黑暗元素三部曲;》的第三部《琥珀望远镜》，牛津大学植物园是一个重要的场景，