Santo Domingo
도미니카 공화국의 작은 마을 산토도밍고 출신인 라미레스는 1985년 미국 뉴욕의 도미니카 이주민들의 주거 지역인 워싱턴 하이츠로 이주했다. 그는 1989년부터 1991년까지 조지 워싱턴 고등학교에서 외야수로 경기에 나섰다. 뉴욕에서 자랐음에도 불구하고, 라미레스는 토론토 블루제이스의 팬이었는데, 1980년대 토론토에는 라틴 출신 선수들이 많았기 때문이다.