Ben Smit var en sønn av jødene Elisabeth Rietveld og Leonard Smit. Faren hans var diamantskjærer i Amsterdam. Et år etter hans fødsel flyttet familien til Antwerpen, hvor han begynte å studere arkitektur i 1939 ved Koninklijke Academie voor Schone Kunsten Antwerpen. Ved starten av andre verdenskrig flyktet familien til den sørfranske landsbyen Marmande og Smit kunne fortsette sin arkitektutdanning ved Ecole des Beaux Arts i Lyon. I 1942 ville de til USA, men havnet i en flyktningleir på Jamaica. I 1943 kom de til Curaçao. Han etablerte i 1946 eget arkitektkontor etter noen år i offentlig sektor. Han gikk i kompaniskap med Kees Bakker og sammen ble de to de viktigste arkitektene på øya fra 1940-årene til 1960-årene.