民国时期沿称。1949年后，称“大甜水井胡同”。据传说，该胡同西口原有一口井，水质甘洌，故得名。1965年，将颐寿里、沟沿胡同、梯子胡同、康家胡同并入。文化大革命中，一度改称“人民路三条”。后复名“大甜水井胡同”。2007年5月15日，王府井地区的霞公府街、王府井西街、大纱帽胡同、大甜水井胡同的设计方案获得批准，其中大甜水井胡同的规划方案为西起南河沿大街，东到王府井大街，道路全长380米。清朝伦贝子府在大甜水井胡同北侧。