「黑人」插图在一些国家和群体间被视为含有对黑人的种族歧视。1956年，加拿大多伦多公立学校正式禁止阅读《小黑人桑波》；1972年美国公共图书馆、学校图书馆将《小黑人桑波》撤出书架；一直到1990年代，《小黑人桑波》都还在美国图书馆协会的禁书名单中。日本岩波书店自1953年首度译介《小黑人桑波》，虽然广受欢迎，累计销售一百万册，但是在国际压力下，1988年被迫全面下架。