家世.孔祥柯为孔子世家嫡系大宗户八府后裔，其七世祖孔继泂，是袭封衍圣公孔传铎的第三子，孔继泂齿序行八，外建府邸世称八府。 孔祥柯的祖父孔庆霄是八府七十三代长房长孙，孔庆霄次子孔繁淦官至直隶高等审判庭推事，他娶清末学部副大臣、京师大学堂监督劳乃宣的长女劳缃，有七子一女，孔祥柯便是他们的次子。
早年.孔祥柯年少时聪颖好学，深受外祖父劳乃宣的钟爱。他随父亲孔繁淦在直隶、江苏、浙江等地接受初等教育，后就读于天津中学，光绪三十二年（1906年）毕业，考入京师译学馆，