Opprinnelsen til denne bosetningen er også uklart. En del av kildene tilskriver det til den norske byen på vestlandet, Bergen, mens andre kilder tilskriver det til nederlandske Bergen op Zoom. Det har også blitt tilskrevet det nederlandske ordet for «høyde» eller «trygt sted». En del av kildene mener at navnet er avledet fra en av de tidligste bosetterne i (i dag New York City), en nordmann som het Hans Hansen Bergen og som kom til Nieuw-Nederland i 1633. Denne Hans Hansen fra Bergen, en av de svært få norske utvandrere på denne tiden, er historisk dokumentert og ble gift med franske Sarah Rapelje. Da Hansen døde i 1654 giftet hans enke seg med hollandske Teunis Gysbert Bogart.