司奉台使见床下堆弃新白绫汗巾无数，知情者曰：“此秽巾，每与妇人合，辄弃其一，岁终数之。”据闻一年下来，床下最多有九百多张白绫汗巾，则世蕃几乎日日行淫数次，因此有人认为西门庆的原型就是他，又世蕃号东楼，小说家以“西门”暗喻。严世蕃曾说：「天下才、惟己与陆炳、杨博为三。」