这些谈话内容「多可人语，乃皆野史稗官之所不见载者」。李文馥担心这些听闻「历岁既久，遗忘殆尽」，便趁「今尚依稀记忆什之一二，因掇拾而存之，不拘门类伦次，有记輙录」。有时虽记忆不清，亦「以己意附补」，于是完成此书。《掇拾杂记》写成的时间，据序文所载是在「嗣德叁年」，即1850年。然而阮朝官修史书《大南实录·大南列传正编第二集》里提到在1849年（嗣德二年），李文馥「擢光禄寺卿，寻卒」，后世据此史文，一般认为李文馥卒于该年。学者陈庆浩对此提出质疑，认为既然在《掇拾杂记·序》里说本书写于嗣德三年，李文馥卒年应在