James Ward Packard wuchs mit vier Geschwistern in einer angesehenen Kaufmannsfamilie in Warren auf, deren Vorfahren bereits 1628 aus Schottland eingewandert waren. Sein Vater, "Warren Packard", hatte eine bedeutende Kette von Eisenwarengeschäften aufgebaut und betrieb unter anderem ein Sägewerk und ein Hotel. James besuchte die örtliche Grundschule und immatrikulierte sich anschließend an der Lehigh University in Bethlehem, Pennsylvania. Gemeinsam mit seinem Bruder William brachte er als Jugendlicher eine eigene Zeitung heraus, die im elterlichen Wohnhaus gedruckt wurde. Mit dem Gewinn aus dem Zeitungsverkauf finanzierten sich die beiden eine Reise zur Weltausstellung 1876 in Philadelphia. 1873 kauften James Vater Warren und sein Onkel "John Packard" 25 acres (10 ha) Land in Lakewood am Chautauqua Lake (New York). Auf diesem Grund errichteten sie die Sommerhäuser der Familie. Zum Land gehörte auch das 1870 eröffnete "Lakeview House" Hotel in dem die Brüder über den Sommer arbeiteten. William betrieb das Telegrafenbüro des Hotels, James war für den Dampfgenerator zuständig mit welchem das Haus mit Strom versorgt wurde. James war außerdem passionierter Radfahrer und unternahm ausgedehnte Touren mit dem aufkommenden Fahrrad. Während seiner Studienzeit war er der Mannschaftskapitän des "Lehigh University Bicycle Club".