，北齐仆射祖孝征之子。博学强记，属辞赡速。薛道衡推荐给隋文帝，隋文帝说：“就是杀斛律明月之人的儿子？朕不用他。”隋炀帝立，更加忌知名士，遂调他为东都书佐，检校宿城令，世称祖宿城。祖君彦自负其才，常郁郁思作乱。为李密草《》，历数隋炀帝十大罪状。李密失败，王世充见他，问：“汝为贼骂国足未？”君彦回答：“跖客可使刺由，但愧不至耳！”王世充杀了他，戮尸于偃师。