Harloff var datter av komponist og musikklærer Wilhelm Harloff fra Malchin i Tyskland, som hadde slått seg ned i Bergen.