I 1968 debuterte Gruberová på operascenen i Bratislava som Rosina i . Etter at hun vant en sangkonkurranse i Toulouse ble hun engasjert som solist ved operaensemble i Banská Bystrica, Slovakia, fra 1968 til 1970. Sommeren 1969 arrangerte Mária Medvecká en audition for Gruberová ved , og engasjerte henne straks. Det første store gjennombruddet kom med «Nattens dronning» og i 1971 emigrerte hun til Vesten. Året etter ble hun fast medlem av . Etter en periode med mindre roller i Wien ble hun solist og fikk snart invitasjoner fra mange av de viktigste operahusene i verden.