কিন্তু তারা ফুজিওয়ারা গোত্রের প্রতিষ্ঠাতা নাকাতোমি কামাতারি কর্তৃক ৬৪৫ খ্রিস্টাব্দে ক্ষমতাচ্যুত হয়, যা শত শত বছর ধরে জাপানের শাসন এবং এমনকি ১৯ শতক পর্যন্ত সম্রাটের বিশিষ্ট উপদেষ্টা প্রদান করে।
৬৪৫ খ্রিস্টাব্দের পর ফুজিওয়ারা গোত্রটি সম্পূর্ণরূপে বিলুপ্ত হয়ে যায়