Da Karl Weierstrass ble født, var hans far Wilhelm sekretær hos borgermesteren i Ostenfelde. Da Karl var åtte år gammel, ble faren skatteinspektør, noe som førte til at hans familie måtte reise mye rundt i det som dengang het Preussen. Det året moren hans døde, 1827, fikk faren en fast stilling i Paderborn, slik at Karl kunne gå på gymnaset Theodorianum. Ved siden av måtte han jobbe med bokføring for å forbedre familiefinansene, men hadde likevel alltid gode karakterer og leste i tillegg det ledende tyske matematikk-tidsskriftet Crelles Journal. Fra 1834 til 1838 studerte Karl Weierstrass rettsvitenskap og finans i Bonn etter ønske fra hans far, for å forberede seg til en karriere som embetsmann i den prøyssiske forvaltningen, hvor han ifølge Felix Klein gikk litt for mye opp i studentforeningen sin, og var med på både fekting og drikkegilder. Ved siden av leste han verkene til Laplace, Abel og Jacobi, noe som brakte ham videre i retning av matematikk. Etter at han forlot universitetet i Bonn uten vitnemål, lot hans oppbrakte far seg overtale til å la ham studere matematikk og fysikk på Westfälische Wilhelms-Universität Münster, noe som tiltalte ham i større grad. Der studerte han elliptiske funksjoner under Christoph Gudermann, som var svært imponert over Weierstrass. Han forberedte seg til eksamen gjennom selvstudium i Westernkotten ved Lippstadt, hvor faren hans var direktør for et saltverk.