ઐતિહાસિક પગારપત્રક અહેવાલ આપે છે કે વ્હાઇટ હાઉસનું નિર્માણ કરવાના ઘણા કામદારો આફ્રિકન અમેરિકનો હતા - કેટલાક મફત અને કેટલાક ગુલામ સફેદ મજૂર સાથે કામ કરતા, આફ્રિકન અમેરિકનોએ એક્વિઆ, વર્જિનિયામાં ખાણમાં રેતીના પથ્થરને કાપી નાખ્યો.