府开封县（今河南省开封市）人，本姓柴，周世宗柴荣之子柴熙让、柴熙诲中的一人，被宋太祖赵匡胤赐予潘美为侄。
身世.《旧五代史》中仅仅记载了柴熙让和柴熙诲的名字和爵位，然而欧阳修《新五代史》却多加出一句“熙让、熙诲，不知其所终”，胡三省认为这是欧阳修避谈柴熙让和柴熙诲的下落。赵匡胤夺取皇位后初次进入皇宫，见到宫中嫔妃抱着一个小孩子，问是谁，回答说：“这是周世宗的儿子。”当时范质、赵普、潘美等人随侍赵匡胤左右，赵匡胤回头询问赵普等人，赵普等人说：“除掉他。”潘美与另一名元帅在赵匡胤身