Jens Frølich Tandberg var sønn av presten Jørgen Johan Tandberg, som noen år etter Jørgens fødsel fikk kall til Trefoldighetskirken i Kristiania og så ved Kristiania domkirke. Faren ble biskop i Christianssand fra 1882 til 1884.