Silfverberg on toisen polven pääsarja- ja maajoukkuekiekkoilija. Hänen isänsä Jan-Erik voitti Brynäsissä neljä Ruotsin-mestaruutta ja kuului myös Ruotsin MM-hopeaa voittaneeseen joukkueeseen vuonna 1977. Jakobin setä Conny Silfverberg pelasi Brynäsissä yli 400 ottelua ja voitti Elitserienin pistepörssin kaudella 1984–1985. Jakob Silfverbergin isoveli Joakim ja serkku Joel pelaavat II-divisioonaa Valbo HC:ssa.