Peabody blev ansat som kontorelev i det firma, som handelsmanden Elisha Riggs havde grundlagt, og som fortrinsvist handlede med tekstiler ("dry goods"). Som 17-årig meldte han sig 1812 som frivillig i USA's krig mod England, og hans chef gjorde tilsvarende tjeneste som officer.