乐善堂发源于19世纪中叶的九龙寨城龙津渡码头公秤，时清廷九龙汛衙门在同治十二年（1872年）于寨城外设龙津石桥海关，后来中方官员将此海关的责任与营运，转移予九龙各乡之殷商，肇成九龙乐善堂之雏型。在1880年，正式成立慈善机构「乐善堂」，乃联合九龙、西贡、荃湾等各乡乡亲筹备义诊、义学等，创堂堂址位于九龙寨城打铁街23号，城寨中的「敬惜字纸亭」亦为乐善堂所兴建，并筹创九龙区第一所女义学。
二战期间.在第二次世界大战中，九龙乐善堂一名副总理因牵涉反日活动，而遭日本驻港军政府清算，使堂务及