এই চাচার স্ত্রী অর্থাৎ নারায়ণরাওয়ের চাচী আনন্দিবাই হিংসা করতেন শাসককে। এই জীবনে তিনি পেশওয়া'র কর্তৃ হওয়ার স্বপ্ন দেখতেন। তিনি শুরু করেন ষড়যন্ত্র। নারায়ণরাও তার বিরুদ্ধে সব ধরনের ষড়যন্ত্র নস্যাৎ করার চেষ্টায় সচেষ্ট ছিলেন। এক পর্যায়ে তিনি রঘুনাথরাওয়ের ক্ষমতায় নিয়ন্ত্রণ এনে তাকে গৃহবন্দি করেন। নানাসাহেবের ছোট ছেলের সঙ্গে গার্দিদের সম্পর্ক তিক্ত ছিল। ওরা ছিল শিকারী গোত্র। চাচী এই দ্বন্দ্বের সুযোগ নেন। তিনি সিল করা একটি চিঠি পাঠান গার্দিদের প্রধান সুমার সিং গার্দির কাছে। এটা লিখিয়ে নেন রঘুনাথরাওয়ের কাছ থেকে। সেই চিঠিতে চাচা তার ভাতিজাকে আটকের নির্দেশনা দিয়েছিলেন গার্দিদের। কিন্তু চাচী সেই চিঠির একটি শব্দ বদলে দেন। এতেই নারায়ণরাওকে হত্যার নির্দেশনা চলে যায় গার্দিদের কাছে।