August Palms far, Nicolaus Palm, var folkeskolelærer men hadde tidligere vært skredder. Moren het Anna Andersson. Vid ti års alder ble August Palm farløs. Moren ble med hans yngste søsken satt på fattighuset, mens han selv havnet i fosterhjem hos en skredder i Östra Kattarp. For å lære seg et yrke ble han satt som lærling til skredder i Malmö. Atten år gammel var det tid for gesellvandringen.