Nell'estate 1982 Malone, free agent con restrizioni, accetta l'offerta del contratto dei Philadelphia 76ers: Houston pareggia l'offerta, ma poco dopo scambia l'MVP con la franchigia della città dell'amore fraterno (che andrà subito a vincere l'agognato titolo da MVP di stagione e le finali) per Caldwell Jones; questa mossa di mercato è finalizzata soprattutto a disfarsi dello stipendio di Malone, a causa delle difficoltà finanziarie dovute a una crisi economica regionale. La stagione 1982-83, l'ultima per Del Harris, finisce con il peggior record (14-68) di sempre dei texani; l'anno dopo il nuovo coach Bill Fitch (ex Boston Celtics) fa un po' meglio (29-53). Il paio di stagioni in ombra valgono a Houston la possibilità di scegliere per primi nel draft e tali scelte condizioneranno il futuro dei Rockets per molto tempo: nel 1983 viene scelto Ralph Sampson (alto 2,25 metri) dall'Università della Virginia e nel 1984 Hakeem Olajuwon (alto 2,10 metri) dall'Università di Houston, che sono la coppia più alta che la lega abbia mai conosciuto. Sampson conquistò il titolo di miglior matricola dell'anno nella stagione 1983-84, grazie a una media di 21 punti e 11 rimbalzi. Olajuwon aveva meno esperienza di quest'ultimo: originario della Nigeria, non aveva mai giocato a pallacanestro fino al 1978, due anni prima di trasferirsi all'università. Houston lo prende come prima scelta assoluta, lo stesso anno in cui i Chicago Bulls chiameranno con la terza scelta Michael Jordan.