I 1919 ble et bronseportrett som Jeanette Johnsen hadde laget av Borgen en gang i 1880-årene, avduket på hans gravmæle på Vår Frelsers gravlund i Oslo. Det var Borgens malerkolleger Johs. Müller og Marie Hauge som hadde tatt initiativ til at bysten skulle reises på Borgens grav.