Był częścią kadry "Albicelestes" na Mistrzostwach Świata 1994, ale na turnieju zagrał w tylko w ostatnim spotkaniu 1/8 finału z Rumunią. Cztery lata później na Mistrzostwach Świata we Francji był jedną z gwiazd zespołu. Argentyńczycy zostali wyeliminowani z turnieju przez Holendrów, w trakcie spotkania Ortega został wyrzucony z boiska za uderzenie głową bramkarza Edwina Van Der Sara. Piłkarz znalazł się w kadrze zespołu na kolejny turniej w Korei i Japonii. W trackie mundialu, w spotkaniu ze Szwecją, Ortega zmarnował rzut karny, po dobitce którego Hernan Crespo strzelił gola. Ostatecznie Argentyńczycy odpadli już w fazie grupowej.