Sassi består av hus som er hogd ut av fjellet, lokalt kalt «Tufo», som en har mye av i Basilicata og Puglia. Mange av disse «husene» er egentlig grotter, og gatene i enkelte deler av Sassi er til tider på taket av andre hus. Byen vokste opp på ene siden av ravinen som elven Gravina har dannet.