乐广因父亲乐方早死，年少孤贫，侨居于山阳，因家世寒微且贫困而无人知晓。后来裴楷曾请乐广与他共谈，谈了一夜后相互钦佩推崇，裴楷更自言不如乐广。当时任荆州刺史的王戎因乐广曾被夏侯玄称许而举他为秀才，及后裴楷又向时任太尉的贾充推荐乐广，乐广于是被贾充任命为太尉掾，后迁任太子舍人。当时乐广亦被朝中名士如衞瓘、王衍等人赞赏，衞瓘更命儿子门去造访他。乐广后外任元城县令，随后又入朝任中书侍郎，又曾当过太子中庶子，屡次升迁后至侍中、河南尹。永康九年（299年）十二月，皇后贾南风废掉司马遹太子之位，至次年年初，司马遹被送