Ludvig Aubert var sønn av språkforskeren Ludvig Cæsar Martin Aubert (1807–87), bror av kunsthistorikeren Andreas Aubert og gift med Elise Aubert, som var en populær forfatterinne.