废掉太子胤礽后康熙帝对诸皇子信任大减,从康熙四十八年(1709年)这次随扈开始采用轮班制,每个人都要轮流陪伴康熙帝出巡,以免结党营私,许多皇子因此都陪同了康熙帝进行巡视,但是胤祥是特殊的。康熙帝的轮班制似乎并没有用到胤祥身上。从康熙四十八年(1709年)实行轮班制开始到康熙五十年(1711年),胤祥每次依然作为皇子陪驾,但是在这一时期康熙帝却并不怎么喜欢胤祥。从康熙五十年(1711 年)开始,根据能够找到的些许记载,胤祥至少在这一时期是身体出现了问题,胤祥腿部生了一种毒疮,并且“起白泡,破后成疮,时流稀脓水”。康熙帝在回复胤祉奏折当中也问询到 “胤祥疮如何了?”“看起来并不好啊?”等一系列关心慰问的语句。胤禛也曾为胤祥遍访名医,并交代总督鄂尔泰“若知有精于医理之人,可资送来京,以为调摄颐养之助”。胤祥的病其实直到雍正二年(1724年)也没有完全好,雍正帝曾对年羹尧说:“王(胤祥)今春夏只觉瘦弱”。由此可见,胤祥的身体状况是极其糟糕的。所以直到康熙帝逝世,胤祥也没有得到什么机会的一种原因吧。胤祥在康熙一朝可谓经历了大起大落,有过辉煌,更有过落寞。康熙前期胤祥得到了开阔眼界的机会,在康熙后期胤祥更是在长期的压抑当中磨砺了自己的性情,胤祥在康熙朝受到挫折抑制后,对政治权力的残酷有所认识。因此,胤祥在康熙朝虽然处境并不是一帆风顺的,但却为日后在雍正朝的有所作为打下了坚实的基础。