Schweigaard ble født i Kragerø. Begge foreldrene døde i 1818, da Anton Martin var 10 år gammel. Han ble tatt hånd om av noen slektninger, isolert fra søsknene og tatt ut av skolen for å arbeide i en krambod. Siden ble Anton Martin satt til å arbeide om bord i briggen «Den gode hensikt», men gikk så i land, hvorpå familien bestemte at han skulle utdannes til handelsmann, og sendte ham til en prest i Hannover for at han skulle lære seg tysk, som på den tiden var det gjengse handelsspråket. Presten lærte den unge Schweigaard både latin og fransk i tillegg til tysk, og ble svært imponert over hans evner. På prestens anmodning sendte familien ham til latinskolen i Skien, hvor han utmerket seg videre. Her gikk han i klasse med Peter Andreas Munch, som ble hans venn for livet. Schweigaard overgikk faktisk Munch i evner, og med beste karakter i 12 fag ble han den beste elev som noensinne har tatt eksamen i Norge.