بيت الحكمة ارتبط إنشاء بيت الحكمة بهارون الرشيد، الذي يعد أحد أعظم خلفاء بني العباس رغبة في العلم، وأصبحت بغداد في عهده منارة العلماء، وكثر فيها الأدباء والشعراء أمثال: أبو العتاهية والعباس بن الأحنف، ومؤرخين أمثال عبد الملك الأصمعي والواقدي. اتجه الرشيد إلى إخراج الكتب والمخطوطات التي كانت تحفظ في جدران قصر الخلافة، بعد أن تضخم رصيدها من التراث المدون والمخطوطات المؤلفة والمترجمة، لتكون مكتبة عامة مفتوحة أمام الدارسين والعلماء وطلاب العلم. وأضاف الرشيد إلى خزانة المنصور ما اجتمع عنده من الكتب المترجمة والمؤلفة، فتوسعت خزانة الكتب وصارت عدة جزائن، أي عدة أقسام لكل منها من يقوم بالإشراف عليها، ولها تراجمة يتولون ترجمة الكتب المختلفة إلى العربية، وناسخون يشتغلون بنسخ الكتب التي تترجم والتي تؤلف للخزانة، ولها مُجلِّدون يجلدون الكتب ويعنون بزخرفتها.
وعلى هذا العمل تطور بيت الحكمة تطور كبير في عهد الرشيد، حيث تحولت من مجرد جزانة للكتب القديمة إلى بيت للعلم ومركزًا للبحث العلمي والترجمة والتأليف والنسخ والتجليد، وأصبحت لها دوائر علمية متنوعة لكل منها علماؤها وتراجمتها ومشرفون يتولون أمورها المختلفة. ولِمَا كان لهارون الرشيد من تشجيع للترجمة ازدهرت في عهده بعض الأسماء مثل الفضل بن نوبخت الذي كان من مترجمي الرشيد، وقد ولاه القيام بخزانة كتب الحكمة، وكان ينقل من الفارسية إلى العربية ما يجده من كتب الحكمة الفارسية، ومعوله في علمه وكتبه على كتب الفرس وله مؤلفات وتراجم كثيرة، وعهد الرشيد إلى يوحنا بن ماسويه تنسيخ النقلة في عصره، يقول سليمان بن حسان: «كان يوحنا بن ماسويه مسيحي المذهب سريانياً، قلده الرشيد ترجمة الكتب القديمة مما وجد بأنقره وعمورية وسائر بلاد الروم حين سباها المسلمون ووضعه أمينًا على الترجمة، وخدم هارون والأمين والمأمون، وبقي على ذلك إلى أيام المتوكل». كان بعض علماء الهنود قد وفدوا إلى بغداد منذ عهد المنصور سواء من تلقاء أنفسهم أو بعد تلقي دعوة من المنصور، ومعظم الكتب التي وصلت عن الهنود في الطب والفلك والرياضيات، تم الانتهاء من نقلها في عصر الرشيد. كان الرشيد يجود على العلماء والمترجمين، وكان أكثر الخلفاء إكرامًا للعلماء بعد ابنه الخليفة المأمون، وقد قيل إن في زمنه كانت أيام الرشيد كلها خير كأنها من حسنها أعراس، وقد انعكست هذه الأيام على خزانة بيت الحكمة، فاتسعت وكثرت كتبها بين ما أُلف وما ترجم وما نسخ، كما اتسعت مرافقها وزاد عدد العاملين فيها.
لما فتح هارون الرشيد مدينتي عمورية وأنقرة، أمر بالمحافظة على مكاتبها، وانتدب العلماء والتراجمة من بغداد لاختيار الكتب القيمة منها والتي يندر وجودها عند غيرها من الأمم، فاختاروا الكتب النفيسة النادرة في الطب والفلسفة والفلك ونقلوها إلى بغداد، وولي الرشيد أمر هذه الكتيب إلى يوحنا بن ماسويه، وجعل له من يساعده في ترجمتها. لم يكن الرشيد وحده من يُولي بيت الحكمة والترجمه اهتمامًا خاصًا، فالبرامكة كان لهم يدًا طولى في تطور بيت الحكمة ونهضة الترجمة في عهد الرشيد، ولهم الفضل الكبير في تنشيط الترجمة وبذلوا جهود كبيرة في نقل العلوم القديمة الرومية واليونانية والفارسية والهندية إلى العربية، ومن ذلك طلب يحيى بن خالد البرمكي إلى بطريك الإسكندرية أن يترجم في الزراعة كتابًا عن الرومية، وكان يحيى البرمكي أول من عني بتفسير كتاب المجسطي وهو كتاب من ثلاثة عشر مقالة وإخراجه للعربية، ففسره جماعة ولم يتقنوه، فندب لتفسيره صاحب بيت الحكمة فأتقنه واجتهد في تصحيحه. اعتنى البرامكة عناية واسعة بترجمة التراث الفارسي، وانبرى لهذه المهمة عدد من علماء بيت الحكمة ومنهم: آل نوبخت، وعلى رأسهم الفضل بن نوبخت الذي أكثر من ترجمت كتب الفلك، والفضل بن سهل، ومحمد بن الجهم البرمكي، وزادويه بن شاهويه الأصفهاني، وبهرام بن مردان شاه، وموسى بن عيسى الكروي، وعمر بن الفرخان، بالإضافة لصاحب بيت الحكمة سهل بن هارون. استقدم يحيى بن خالد بعض أطباء الهند ومنهم منكة الذي كان ينقل الطب من الهندية إلى العربية، وأمره يحيى بتفسير كتاب عشر مقالات في البيمارستان. بالإضافة لكتب الحكمة قام البرامكة بالاهتمام بالأدب الفارسي، فنقل أبان بن عبد الحميد اللاحقى كتاب كليلة ودمنة وجعله شعرًا ليسهل حفظه، فأعطاه يحيى بن خالد البرمكي عشرة آلاف دينار وأعطاه الفضل بن يحيى البرمكي خمسة آلاف دينار. كما انتشرت ظاهرة اهتمام الأسر الموسرة بالترجمة زمن هارون الرشيد، من أبرز هذه الأسر أسرة بني موسى بن شاكر: محمد وأحمد والحسن، الذين خصصوا دارًا للنقل والترجمة في بغداد، وأسرة المجِّم، بداية من يحيى بن أبي منصور المنجم، وابنه علي وحفيده يحيى، فقد قاموا بنقل كتب الطب وترجمتها، وتبوأوا مكانة عالية لدى الخلفاء العباسيين.