Victor Danielsen var sønn av sysselmann Daniel Jacob Danielsen og hustru Anna Malena Weihe. Han giftet seg i 1920 med Henrikke Malene Olsen. Han ble morfar til lagtingsmann Jógvan á Lakjuni.