长兄和两名胞姐，对下有三名胞妹和一名年纪最轻的胞弟。柯士甸的长兄是神学博士威廉·皮尔斯·奥斯汀主教（Bishop Dr William Piercy Austin，1807年11月7日－1892年11月9日），1883年至1892年间任首任圣公会西印度主教长。柯士甸的母亲米希她别是由继父神学博士约翰·伽德纳（Dr John Gardiner）养大，所以柯士甸出生时亦取名「约翰·伽德纳」。柯士甸年少时与兄长和两名胞姐被送回英格兰巴斯，由母亲的养父母照顾，并随兄长入读温彻斯特的海德大修道院（Hyde Abb