科顺天乡试考中举人。道光二十七年（1847年），郭祥瑞参加丁未科会试中式，殿试位列张之万榜二甲第十一名，赐进士出身。朝考后未能入翰林，分至户部，曾分校乡、会试。咸丰十年（1860年）补监察御史，帮办五城团防。同年英法联军攻入北京，郭祥瑞昼夜巡缉，因功升给事中，任职四年，曾参劾两江总督何桂清。同治元年（1862年）典乡试，不久授广东督粮道。同治五年（1866年）升广东按察使，次年署布政使，深受广东巡抚蒋益澧倚重。但两广总督瑞常与蒋不和，故借口其擅自动用库款，参奏将其革职，郭祥瑞作为布政使也按例降调，遂回乡家居