Sammen med Herb Abramson grunnla Ertegün Atlantic Records i 1947. Selskapet utviklet seg til å bli ett av USAs mest anerkjente plateselskap for jazz og rythm and blues. Men ganske snart knyttet Atlantic også til seg mange artister i rock-, soul- og popsegmentet, som for eksempel The Rolling Stones, Led Zeppelin, Aretha Franklin, Ray Charles, Cream, Sonny and Cher og Crosby, Stills & Nash.