Từ năm 1954, hàng năm Oppenheimer dành vài tháng sống ở đảo Saint Johhn thuộc quần đảo Virgin. Năm 1957, ông mua một miếng đất rộng 2 mẫu Anh (0,81 ha) ở Bãi biển Gibney, nơi ông xây một ngôi nhà chênh vênh gần vách đá bờ biển. Ông dành nhiều thời gian đi thuyền buồm cùng con gái Toni và người vợ Kitty.Ngày càng quan ngại về mối nguy hiểm tiềm tàng cho nhân loại nảy sinh từ những phát kiến khoa học, Oppenheimer tham gia cùng với Albert Einstein, Bertrand Russell, Joseph Rotblat và những nhà khoa học và học giả nổi tiếng khác thành lập thứ về sau trở thành Viện hàn lâm Khoa học Nghệ thuật Thế giới năm 1960. Đáng chú ý là từ sau vụ điều trần hủy hoại ảnh hưởng, ông không ký tham gia thư phản đối quan trong nào chống vũ khí hạt nhân những năm 1950, như Tuyên ngôn Russell–Einstein năm 1955, cũng như không tham gia, dù được mời, vào Hội nghị Pugwash về Khoa học và các Vấn đề Toàn cầu lần thứ nhất vào năm 1957.Trong các diễn văn và bài viết thời gian này, Oppenheimer không ngừng nhấn mạnh khó khăn trong việc quản lý sức mạnh của tri thức trong một thế giới trong đó tự do trao đổi ý tưởng khoa học ngày càng bị cản trở bởi những lo ngại chính trị. Oppenheimer tham gia Bài giảng Reith, một chương trình của BBC năm 1953, về sau được in thành bài viết Science and the Common Understanding (tạm dịch: Khoa học và Hiểu biết chung. Năm 1955 Oppenheimer xuất bản The Open Mind (tạm dịch: Tư duy mở), tập hợp 8 bài giảng của ông kể từ 1946 về đề tài vũ khí hạt nhân và văn hóa đại chúng. Oppenheimer bác bỏ ý tưởng về một chính sách ngoại giao pháo hạm dựa trên vũ khí hạt nhân. "Những mục đích của quốc gia này trong lĩnh vực chính sách ngoại giao", ông viết, "không thể nào đạt được, theo bất kỳ cách nào thực tiễn hoặc lâu dài, bằng áp bức". Năm 1957 hai khoa triết học và tâm lý ở Harvard mời Oppenheimer thuyết trình tại Khóa giảng William James. Một nhóm các cựu sinh viên nhiều ảnh hưởng của Harvard dẫn đầu bởi Edwin Ginn và bao gồm Archibald Roosevelt phản đối quyết định này nhưng không thành công. Chừng 1200 người đã tới Hội trường Sanders để nghe 6 bài giảng của Oppenheimer, có tựa đề "The Hope of Order" (tạm dịch: Hy vọng về Trật tự). Oppenheimer trình bày Khóa giảng Whidden tại Đại học McMaster năm 1962, sau đó công bố năm 1964 dưới tựa đề The Flying Trapeze: Three Crises for Physicists (tạm dịch: Dây đu bay: Ba cuộc khủng hoảng của các nhà vật lý).Bị tước mất quyền lực, Oppenheimer tiếp tục giảng dạy, viết và nghiên cứu vật lý. Ông du hành châu Âu và Nhật Bản để thuyết trình về lịch sử khoa học, vai trò của khoa học trong xã hội, và bản chất vũ trụ. Tháng 9 năm 1957, nước Pháp trao tặng ông Bắc Đẩu bội tinh, và ngày 3 tháng 5 năm 1962, ông được bầu chọn làm thành viên ngoại quốc của Hội Hoàng gia Anh. Dưới sự thúc giục của những thân hữu Oppenheimer bấy giờ nắm nhiều vị trí quyền lực, Tổng thống John F. Kennedy quyết định trao tặng Oppenheimer Giải Enrico Fermi năm 1963 như một cử chỉ phục hồi danh dự chính trị cho ông. Edward Teller, người nhận giải năm trước, cũng đề nghị Oppenheimer được nhận giải này, hy vọng làm lành với ông. Vì Kennedy bị ám sát ít lâu sau đó, Tổng thống Lyndon Johnson là người trao tặng giải, "dành cho những cống hiến cho vật lý lý thuyết như một bậc thầy và người sáng tạo những ý tưởng, và cho sự lãnh đạo phòng thí nghiệm Los Alamos và chương trình năng lượng nguyên tử trong những năm quan trọng". Oppenheimer nói với Johnson: "Tôi nghĩ có thể lắm, thưa ngài Tổng thống, rằng phải cần khá nhiều lòng nhân đức và dũng cảm ông mới trao giải này hôm nay". Sự phục hồi danh dự bởi giải thưởng ít nhiều chỉ có tính biểu tượng, bởi Oppenheimer vẫn không có quyền miễn trừ an ninh và không có chút ảnh hưởng nào lên chính sách chính thức, nhưng đi kèm với giải thưởng là 50 nghìn đô la tiền thưởng miễn thuế, và sự kiện khiến nhiều nhân vật đảng Cộng hòa ở Hạ viện tức tối. Vợ góa của cố Tổng thống Kennedy Jacqueline, bấy giờ vẫn sống trong Nhà Trắng, có một cử chỉ chính trị khi gặp Oppenheimer để nói rằng chồng bà đã tha thiết muốn ông nhận được huy chương như thế nào. Khi còn là thượng nghị sĩ năm 1959, Kennedy từng đóng vai trò quan trọng trong phiên bỏ phiếu sít sao bác bỏ ghế Bộ trưởng Thương mại Hoa Kỳ mà kẻ thù của Oppenheimer, Lewis Strauss, khao khát, về cơ bản chấm dứt sự nghiệp chính trị của Strauss. Đây một phần là kết quả vận động hành lang của cộng đồng khoa học để báo thù cho Oppenheimer.Vào cuối 1965 bác sĩ phát hiện Oppenheimer bị ung thư vòm họng và sau một cuộc phẫu thuật không có tính quyết định, ông phải trải qua xạ trị và hóa trị cuối năm 1966 nhưng không thành công. Ông rơi vào hôn mê ngày 15 tháng 2 năm 1967, và qua đời ở tư gia tại Princeton, New Jersey vào ngày 18 tháng 2, hưởng thọ 62 tuổi. Buổi mặc niệm được tổ chức tại Hội trường Alexander tại Đại học Princeton một tuần sau đó, với sự có mặt của hơn 600 người là cộng sự trong giới khoa học, chính trị và quân đội, bao gồm Bethe, Groves, Kennan, Lilienthal, Rabi, Smyth và Wigner. Em trai ông Frank và gia quyến cũng ở đó, cũng như nhà sử học Arthur M. Schlesinger, Jr., nhà văn John O'Hara, và George Balanchine, giám đốc của một trường múa ba lê ở New York. Bethe, Kennan và Smyth đọc những bài điếu văn ngắn. Thi hài Oppenheimer được hỏa táng, tro táng được Kitty mang tới St. John và thả xuống biển cạnh ngôi nhà của ông.