希声的高祖父为工部尚书陆景融。祖父陆孟儒，官至苏州司士参军。父陆翱，没有仕官记载。
早期仕途.陆希声博学，善作文，精通《易经》、《春秋》、《老子》，论着甚多，主张儒道合一。曾评价已故太子校书郎李观和被认为与李观不相上下的韩愈：“李观尚文辞，所以文辞胜于说理；韩愈尚思辨，所以说理胜于文辞。即使韩愈老了，也终究不能胜过李观的文辞；即使李观比韩愈后死，也不能达到韩愈的思辨。”曾为岭南从事，在洪州石亭观音院遇到仰山大师（法名慧寂，号仰山），成为其门人，并被其称赞为门人之首。大约大中