Det er flere teorier om bakhistorien for disse særskilte bygningene, en av de mest siterte er knyttet til Prammatica De Baronibus, en forordning fra kongedømmet Napoli som bestemte at hver ny urban bosetning til en skatt. Grevene av Conversano D'Acquaviva D'Aragona fra 1481, landeierne av territoriene som dagens Alberobello er lokalisert på, aktet å unngå og beordret de bøndene som ble sendt inn i området å bygge deres boliger med «tørrstein», det vil si uten å bruke mørtel eller sement av noe slag slik at de kunne betraktes som usikre bygninger som lett kunne rives ned.