秀吉和江户时代于出岛的种种传说，但真正兴盛是明治文明开化时期，知名卡斯特拉店铺如文明堂等店即在此时创业，进入大正时期卡斯特拉开始出现在诸如西条八十、北原白秋、芥川龙之介、幸田露伴等作家的文学作品中。作为葡式海绵蛋糕的日本本地化发展，现今原料不但可能有玉米糖浆，甚至可能有虾或扇贝。明治时期，日本即有西伯利亚式的红豆羊羹卡斯特拉，2013年因宫崎骏电影《风起》再次带动风潮。
海外传播.
台湾.1968年，叶永青（1971年另立「南蛮堂」）与日本「长崎本舖」合作将