人的边界》一书中，作者认为“白色垃圾”一词来自1830年代的华盛顿地区，当穷苦白人抢走黑人工作的时候，黑人用这个词称唿他们（讽刺他们作为白人在各方面都有优先权，本来有更好的工作机会，却沦落到抢黑人的饭碗）。1854年，《汤姆叔叔的小屋》作者在描述美国奴隶制度时说，奴隶制度不仅制造了被降格的、痛苦的黑奴，还让穷苦白人更被降格、更痛苦。她认为种植园经济造成贫富差距极大，同时那里缺乏学校和教堂，贫穷白人没有获得尊严的机会。这些“白色垃圾”同时遭到黑人和白人的鄙视。到1855年为止，这个词已经被白人上层社会