เมื่อเวลาผ่านไป นาธาเนียลประสบความสำเร็จมากขึ้นในเซมโปรเนียส แต่ในช่วงปีที่มิลลาร์ดเติบโต ครอบครัวต้องทนกับความยากจนอย่างรุนแรง นาธาเนียลได้รับการยอมรับอย่างเพียงพอว่าเขาได้รับเลือกให้รับใช้ในสำนักงานท้องถิ่น หวังว่าลูกชายคนโตของเขาจะได้เรียนรู้การค้าขาย เขาโน้มน้าวให้มิลลาร์ดซึ่งอายุ 14 ปีไม่เข้าร่วมสงครามในปี ค.ศ. 1812 และฝึกเขาให้ฝึกงานกับช่างตัดเย็บเสื้อผ้า เบนจามิน ฮังเกอร์ฟอร์ดในสปาร์ตาฟิลมอร์ถูกผลักไสให้ทำงานน้อย ไม่พอใจที่ไม่ได้เรียนรู้ทักษะใดๆ เขาออกจากงานของ Hungerford