上曾是文人墨客和书画家寓居之地。因门通南山，古时市民需用柴炭多从此门运入，故有“清波门外柴担儿”之民谣。清波门一带是休闲赏景的好去处，“西湖十景”之一的“柳浪闻莺”位于西边，附近有“聚景园”、“钱王祠”遗址，东边是“新西湖十景”之一的“吴山天风”与河坊街。