Petersen ble med i sitt første band, Brainstorm, i 1973, hvor han spilte gitar. Det var med dette bandet han spilte sin første konsert i 1976. Bandet brukte ansiktsminke, og alle hadde psevdonymer, Petersens var King Diamond. Sminken var sterkt influert av at Petersen så Alice Cooper i København 3. september 1975 på -turneen. Han forlot Brainstorm i 1978 og begynte å synge i et annet lokalt hardrock-band med navn Black Rose. Bandet pleide å spille coverlåter av band som Deep Purple og Rainbow, men skrev også egne låter. I løpet av denne tiden begynte han å eksperimentere med skrekk- og horror-temaer og skapte den kvasi-sataniske figuren han senere ble kjent for. Han forlot Black Rose etter ca. ti konserter, i november 1980, da han ble rekruttert av punk metal-bandet Brats. I dette bandet møtte han Hank Shermann, Michael Denner og Timi Hansen. Petersen ville ikke synge punk, så de ble enige om å skrive mer heavy materiale. Bandet hadde kontrakt med CBS og hadde allerede gitt ut ett album, men plateselskapet syntes nå at musikken var for heavy og nektet å gi ut plate nummer to. To av medlemmene sluttet i bandet, og de gjenværende bestemte seg for å starte bandet Mercyful Fate i mars 1980.