Po znakomitej karierze uczelnianej, na University of Virginia, ukoronowanej trzykrotnym zdobyciem tytułu Gracza Roku (jako jeden z trójki koszykarzy w historii), Sampson został wybrany z nr 1. draftu 1983 przez Houston Rockets. Spełniając pokładane w nim nadzieje, spisywał się znakomicie także w NBA. Po pierwszym sezonie został uhonorowany tytułem NBA Rookie of the Year i wyborem do drużyny Zachodu w Meczu Gwiazd. Od następnego sezonu, kiedy do drużyny z Houston dołączył drugi olbrzym, Hakeem Olajuwon, Rockets osiągnęli szczytową formę. Prowadzeni przez „Twin Towers” znacznie poprawili bilans i zagrali w fazie play-off. Sampson i Olajuwon zagrali w Meczu Gwiazd, a Sampson zdobył tytuł MVP All-Star Game. W kolejnym sezonie Ralph doprowadził drużynę do finału ligi, zwyciężając w finale Konferencji Los Angeles Lakers. W finale ligi Sampson spisał się słabiej, zaliczając m.in. bolesny upadek i usunięcie z boiska w 5. meczu, a Rockets przegrali 2-4 z Boston Celtics.