Navnet Bergfjerdingen er registrert brukt i 1767, før den tid var området kjent som «Under Aggersberg». Husene her var særdeles små og trangbodde, og i 1865 bodde det 500 mennesker her, med opptil 18 personer i samme hus. Flesteparten av beboerne var håndverkere og industriarbeidere.