芳曾就读葛量洪教育学院校友会观塘学校（就读时的校长为已故政治家司徒华）。她在就读小学时（即11岁）已经踏入社会工作帮补家计，曾经在前香港首富李嘉诚位于筲箕湾的「长江塑胶厂」穿胶花。直至13至14岁，她正式自立工作。期间，一边谋生，一边在易通英文书院以及新法书院夜校不断自我进修。她当时的第一份职业是织假发，所赚取的薪资全都用作家用。其后，刘桂芳于观塘职业训练中心学习制作时装两年。她不久转职新世界酒店接待员。时正20多岁的她已经结了婚，并育有两名儿子。此时她也认识了资深电影人吴思远。在1980年代，她获邀拍