刘桂芳于香港铜锣湾出生，为父亲（于金钟上班）的三房所生的孻女，小时候的生活比较飘泊，曾在尖沙咀、湾仔、北角、观塘和红磡居住。因为经常搬屋的缘故，她需要不时转校。而这令她的读书成绩不理想。刘桂芳曾就读葛量洪教育学院校友会观塘学校（就读时的校长为已故政治家司徒华）。她在就读小学时（即11岁）已经踏入社会工作帮补家计，曾经在前香港首富李嘉诚位于筲箕湾的「长江塑胶厂」穿胶花。直至13至14岁，她正式自立工作。期间，一边谋生，一边在易通英文书院以及新法书院夜校不断自我进修。她当时的第一份职业是织假发，所赚取的薪资全都