二郡、钟离侯。祖祖遵，魏卫将军、右光禄大夫、淮川公。父祖崇儒，官至齐州长史。祖孝孙精历算数学。隋初开皇年间任协律郎，参定雅乐、京房律法。曾向陈山阳太守毛爽学习“京房律法”。唐初任太常少卿，教宫女音乐。教得不好，宫女没有长进，太宗责怪孝孙。王珪与温彦博替祖孝孙辩解：“孝孙雅士，今乃令教宫人，更加谴责，毋乃非宜。”太宗更加生气，王珪据理力争。《新唐书》有传。