Han var sønn av konditor Carl Frederik Ronander og hustru Jacobine Pouline Tegner. Han vokste opp i en musikalsk familie i København, hvor eksempelvis faren spilte fløyte. Morbroren hans var litograf Christian Martin Tegner, som også en tid bodde i Trondhjem. Victor Ronander giftet seg med skuespillerinne Anne Emilie Holm, og som enkemann giftet han seg på nytt med Rosa Andriette Therese Jensen. Datteren Rosa Ronander ble mormor til musiker Gustav Lorentzen.