কিন্তু কেশব সেনের নির্দিষ্ট কিছু ধারণা ও কার্যকলাপ তাঁর অনুসারিবৃন্দ, বিশেষত যুবা ও চরমপন্থীদের মনে সন্দেহের সৃষ্টি করে। তারা ব্রিটিশ সরকারের প্রতি তাঁর অত্যুৎসাহী আনুগত্য প্রকাশকে অপছন্দ করত এবং কোচবিহারের রাজার সাথে তাঁর কন্যার বিবাহের ব্যাপারে তাঁর আচরণ নিয়েও ক্ষুব্ধ ছিল। কনে ও বর উভয়ই অপ্রাপ্তবয়স্ক ছিল এবং সনাতন হিন্দু ধর্মীয় আচার অনুযায়ী ব্রাহ্মণ পুরোহিতরা এ বিয়ের অনুষ্ঠান সম্পাদন করে। এতে ঘটেছিল ব্রাহ্ম সমাজের ধর্মবিশ্বাস ও প্রথার নিদারুণ লঙ্ঘন। কেশবের কর্তৃত্বপরায়ণতা ও অযৌক্তিক আচরণও তাঁর অনুসারীদের অনেকের উত্তেজিত হওয়ার কারণ ঘটিয়েছিল। শেষ পর্যন্ত শিবনাথ শাস্ত্রী (১৮৪৭-১৯১৪) ও আনন্দমোহন বসুর (১৮৪৭-১৯০৬) নেতৃত্বে আমূল সংস্কারের পক্ষপাতী শ্রেণীর লোকজন কেশবচন্দ্র সেনের সমাজ থেকে বের হয়ে আসে এবং ১৮৭৮ সালে সাধারণ ব্রাহ্ম সমাজ গঠন করে। এটি প্রাপ্তবয়স্কদের ভোটাধিকারের ভিত্তিতে একটি গঠনতন্ত্র তৈরি করে এবং একটি সর্বজনীন ধর্ম প্রতিষ্ঠার উদ্দেশ্যকে এগিয়ে নিতে এর আকাঙ্ক্ষা জনসমক্ষে ঘোষণা করে। এ মহিমাম্বিত দাবি সত্ত্বেও ব্রাহ্ম আন্দোলন আর বেশি দূর অগ্রসর হতে পারে নি, বরং দিনে দিনে শক্তি হারাতে থাকে। উনিশ শতকের শেষের দিকে ‘নবজাগ্রত’ হিন্দুধর্ম ব্রাহ্ম সমাজ আন্দোলনের অধিকাংশ ধর্মীয় ও সামাজিক ধ্যান-ধারণা আত্মস্থ করতে শুরু করে।