El arboretum fue creado en 1929 en honor de Arthur Hoyt Scott (clase de 1895), "con el fin de permitir a la universidad de Swarthmore adquirir, cultivar y propagar las mejores clases de árboles vivos, de arbustos y de plantas herbáceas que sean robustas en el clima del este de Pennsylvania y que sean convenientes para plantar en un jardín de tipo medio."