Arnold Jacoby var født i Brooklyn. Foreldrene hadde utvandret til Amerika, men flyttet tilbake til Larvik i 1915 da bestefaren Georg Jacoby døde og familiegartneriet i Dronningens gate sto tomt uten noen til å ta seg av det.