Karl Ludvig Bugge var sønn av skipsbyggmester Gunder Henrik Tørrisen Bugge og Gustava Agathe Gjerstrøm.