Randy Rhoads
Ozzy Osbourne > Diary of a Madman

Sau tour diễn ở Anh, ban nhạc ghi một album nữa mang tên Diary of a Madman. Tháng 12 năm 1981, độc giả tạp chí Guitar Player bầu chọn Rhoads là "Tài năng mới xuất sắc nhất", còn độc giả tạp chí Sounds của Anh bầu chọn nam nghệ sĩ là "Nghệ sĩ guitar heavy metal xuất sắc nhất". Trong khoảng thời gian này, Rhoads tái hợp với Dubrow để làm một show cố định của Quiet Riot tại Whisky a Go Go, West Hollywood trong một lần anh ghé thăm nhà ngắn ngày. Sau này Rhoads bị quản lý Sharon Arden cảnh báo không được thực hiện hành động như vậy nữa.
Trong thời gian giải lao trước khi thực hiện tour diễn đầu tiên ở Hoa Kỳ, cả Kerslake lẫn Daisley đều bất ngờ bị Sharon (quản lý ban nhạc và vợ tương lai của Osbourne) sa thải. Để thực hiện tour diễn, tay trống Tommy Aldridge (cựu thành viên Black Oak Arkansas) và tay bass Rudy Sarzo (từng làm đồng đội của Rhoads ở Quiet Riot) được nhận vào ban nhạc. Diary of a Madman được phát hành ngay sau đó vào tháng 10 năm 1981. Vì Kerslake và Daisley bị khai trừ khỏi ban nhạc, tên và ảnh chụp Aldridge và Sarzo đã xuất hiện trên vỏ bìa album. Tranh chấp về tiền bản quyền biểu diễn và các quyền sở hữu trí tuệ khác đã châm ngòi cho các cuộc chiến pháp lý trong tương lai. Kerslake quả quyết rằng Rhoads suýt rời ban nhạc của Osbourne vào cuối năm 1981 do bất mãn với hành động sa thải chính anh và Daisley. Sau này tay trống kể lại: "Cậu ấy [Rhoads] không muốn tiếp tục [đi tour với Osbourne nữa]. Chúng tôi bảo cậu rằng bọn tôi đã bị đuổi  việc. Cậu ấy nói mình sắp rời ban nhạc, vì cậu không muốn bỏ lại chúng tôi. Tôi bảo cậu ta rằng đừng ngốc nghếch thế, nhưng cảm ơn cậu vì dành tình cảm cho bọn tôi.
Trong khoảng thời gian này, Rhoads kể với Osbourne, các đồng đội Aldridge và Sarzo, cùng người bạn Kelly Garni rằng anh đang cân nhắc bỏ nhạc rock trong vài năm để kiếm tấm bằng chuyên ngành guitar cổ điển tại UCLA vào năm 1991. Trong bộ phim tài liệu Don't Blame Me (1991), Osbourne xác nhận Rhoads mong muốn được lấy bằng và cho rằng nếu anh còn sống, ông không tin Rhoads sẽ gắn bó với ban nhạc nữa. Nghệ sĩ bass Garni (cựu đồng đội ở Quiet Riot và bạn của Rhoads) đoán trong các buổi phỏng vấn rằng nếu Rhoads vẫn tiếp tục chơi nhạc rock, anh có thể đã đi theo con đường nhạc rock chịu sự dẫn dắt của đàn keyboard hơn, và trào lưu ấy đã trở nên phổ biến suốt thập niên 1980. Trong lúc đi tour với Osbourne, Rhoads tìm gia sư dạy guitar cổ điển để học bất cứ khi nào có thể.
Ở thời điểm qua đời, Rhoads đã đưa ra quyết định chia tay Osbourne sau khi hoàn thành nhiệm vụ trong hợp đồng. Tuy có mối quan hệ tốt với Osbourne, chứng lạm dụng rượu và ma túy vô độ của giọng ca này ngày qua ngày gây khó dễ cho các thành viên của ban nhạc khi đi tour. Khi tour diễn Diary of a Madman ở Mỹ được khởi động, Osbourne thường từ chối biểu diễn do dư âm của những đêm nốc rượu quá nhiều vào đêm hôm trước, và chỉ Sharon mới có thể thuyết phục được ông lên sân khấu. Vì vậy mà nhiều show đã bị hủy bỏ, còn Rhoads phát mệt với sự thất thường của Osbourne.
Tháng 2 năm 1982, sự việc quản lý và hãng thu âm của Osbourne thu thanh album ghi trực tiếp các bài hát của Black Sabbath tại Maple Leaf Gardens, Toronto vào năm ấy như giọt nước làm tràn ly. Rhoads và đồng đội Tommy Aldridge thấy rằng họ đã thành danh trong nghệ sĩ thu âm, họ xem việc làm một album toàn bài hát cover là một bước lùi cả về mặt chuyên môn và nghệ thuật. Vì thế họ từ chối tham gia các buổi thu thanh trực tiếp theo dự kiến. Osbourne xem quyết định này như một sự phản bội, và quan hệ giữa ông và Rhoads trở nên rạn nứt. Khi đã uống say bí tỉ, Osbourne lại uống nhiều hơn nữa và bắt đầu chia rẽ ban nhạc. Có thời điểm trong cơn say, ông đã sa thải toàn bộ ban nhạc (kể cả Rhoads), song sau này ông chẳng nhớ gì về chuyện đó. Ông bắt đầu chế nhạo Rhoads bằng tuyên bố rằng những người như Frank Zappa và Gary Moore sẵn sàng thay thế anh để thu album trực tiếp. Hành vi của Osbourne đã sớm thuyết phục Rhoads rời ban nhạc. Anh bất đắc dĩ nhận lời biểu diễn ở album ghi trực tiếp, với điều kiện sẽ rời đi sau hoàn thành nghĩa vụ hợp đồng với Jet Records - gồm một album phòng thu và một tour diễn nữa. Ít tuần sau, album ghi trực tiếp theo dự kiến đó lại bị hủy sau cái chết bất ngờ của nam nghệ sĩ, song dự án nhanh chóng được tái khởi động với việc phát hành Speak of the Devil vào tháng 11 năm ấy.