Una faceta que genera aguda controversia respecto de la figura de Arboleda es su papel en el seno de la sociedad esclavista de Popayán.