941年1月30日，水岛公一出生于日本东京都。从毕业后，考入东京大学理学部，1964年毕业。1969年取得理学博士学位（东京大学）。留校担任理学部物理学科助手。1977年至1979年间，水岛被约翰·B·古迪纳夫招揽至英国牛津大学。其后发现锂离子电池的阴极材质钴酸锂（LiCoO2）以及一系列物质。1983年进入东芝公司，负责开发分子器件、高温超导装置以及磁性装置。