Talmadge ble født inn i en fattig familie. Hennes far, Fred, var alkoholiker, og forlot familien da hun fortsatt var veldig ung. Hennes mor, Peg, tjente penger ved å drive vaskeri og leie ut rom og leiligheter. Da en venn anbefalte at Peg brukte Norma som en modell for bilder i filmer, besluttet Peg å prøve ut dette. Dette førte til at alle tre søstrene begynte en skuespillerkarriere.