作者不详，一说是朱胜非编成，共十三卷。一说唐代张说有一绀色珠，或有遗忘之事，摸了之后就会记起所有的事。方回〈《小学绀珠》序》〉：“唐张燕公患多读少记，得绀碧大珠一颗，握以自照，则平生所读所记，了了不忘，故后人摘书小説奇事，名《绀珠集》。”晁公武《郡斋读书志》称此书为朱胜非之作品，“编百家小记而成”。清代的《痘麻绀珠》，书名取自《绀珠集》。