Han var son till Ella Persdotter (Hansson) och från 1885 gift med Amanda Josefina Olsson. Hallberg växte upp under mycket fattiga förhållanden och gick i 17-årsåldern till sjöss; efter sjutton år på världshaven och de stora sjöarna i Amerika slog han sig ner som gårdskarl och eldare i en av Chicagos många skyskrapor. Hallberg som bar på stora konstnärsanlag målade tavlor på sina fripass till sjöss och med arbetet som eldare fick han möjlighet att inreda en liten ateljé i en liten skrubb bredvid pannrummet där han mellan kolskyffling och slaggning kunde utöva sin konst. I samband med att han blev amerikansk medborgare bytte han förnamn från Carl till Charles. När han var i 45-årsåldern började han måla marinmotiv och blev med tiden en uppskattad och känd marinmålare. Vid en utställning i Chicago 1900 blev han uppmärksammad av Anders Zorn, som då befann sig i USA. Zorn gav honom goda lovord som målare. Han inbjöds 1901 att medverka i The Art Institute of Chicagos utställning samt i Världsutställningen i Saint Louis 1904. Han var mycket produktiv och medverkade i ett flertal amerikanska utställningar och vid de svensk-amerikanska utställningarna i Chicago. Han tilldelades en guldmedalj vid All-Illinois Society of Fine Arts utställning i Chicago 1939 och fick flera utmärkelser vid de svensk-amerikanska utställningarna, bland annat första pris 1920 och 1926. Hallberg är förutom i olika amerikanska samlingar representerad vid Nationalmuseum med oljemålningen "Morgonstämning från Lake Michigan" och i Göteborgs konstmuseum med målningen "Atlanten" samt vid Smålands museumi Växjö.