祝确是朱熹的外祖父。祖父祝仁质经营商店、客栈，人称“半州”，祝确笃信佛法，“世以货力顺善闻于州乡，其邸肆生业几有郡城之半，因号‘半州祝家’。”。方腊之乱时，祝氏家业被焚荡，祝确因而家道中落。祝确有一独生女五娘，生下朱熹。