Ludvig Josephson var bror til komponisten Jacob Axel Josephson, fabrikkeieren Wilhelm Josephson og musikkhandleren Edvard Josephson. Kunstneren Ernst Josephson var hans nevø. Han var bror til skuespilleren Erland Josephsons farfarsfar.