泥之英文「cement」是由拉丁文「caementum」演变而来，意指「碎石」。水泥的历史可追溯到古罗马时代。当时古罗马人在建筑时，会把石灰和火山灰混合起来成为建筑原料，是为史上最早之水泥。1796年英国人詹姆士·帕加（James Parker）用泥灰岩烧制一种棕色水泥，称「罗马水泥」。1824年英国人（Joseph Aspdin）用石灰石和粘土烧制成水泥，命名为波特兰水泥，并取得专利权。波特兰水泥日后在水泥中取得绝对地位。随着对建筑之要求越来越高，波特兰水泥不断改进，水泥种类已发展到100多种。