Jeff Berlin ble født inn i en musikalsk familie. Hans far var operasanger, og hans mor var pianist. Som barn var han et talent på fiolin, men byttet til bass da han var 14 år gammel. Han gikk blant annet på Berklee College of Music i Boston for å perfeksjonere sine ferdigheter på instrumentet.