小塔，即龟塔。实际上，龟塔是在1886年为纪念传说中的金龟而建。还剑湖北部有一圆形小岛，因远看似玉石而被称作玉山岛，岛上的玉山祠因岛得名。玉山祠建于后黎朝末年，始建时名为玉山寺，阮朝绍治三年（1843年）被毁重建时改寺为祠，供奉关帝、兴道王陈国峻和文昌帝君三圣。1865年阮朝文学家阮文超主持修葺玉山祠，并在附近营建镇波亭、栖旭桥、笔塔和砚台。栖旭桥是湖东岸一座连接玉山祠的木拱桥。笔塔因顶状如毛笔得名，建在湖东岸的桃腮山上，高五层。笔塔大门由四根石柱构成，四柱顶端也均为毛笔状，中间两柱较高，中央为通道，柱