Swarthmore College
本傑明·韋斯特出生于英属宾夕法尼亚省特拉華縣的春田镇（Springfield），现其出生地位于斯沃斯莫爾學院校园内。他的父亲是一位旅店老板，他是其父的第10个孩子。一家人后来移居同县的牛顿广场（Newtown Square），继续经营酒馆生意，其父的广场酒馆（Square Tavern）至今还保留在那里。按他自述，美国原住民曾教给他如何用河岸的泥土混合熊油作画，由于从小缺乏正规教育，即使在他当上皇家艺术研究院长后，还经常出现拼写错误。