محمد بن سعد البغدادي تنقل ابن سعد في طلب العلم بين أشهر المراكز العلمية في عصره، فمن البصرة حيث كانت نشأته الأولى، إلى بغداد التي أخذت من عمره الوقت الكثير، يدل على ذلك ملازمته لشيخه الواقدي الذي قدم بغداد سنة ثمانين ومائة، واستقر بها حتى وافاه الأجل، ورحل ابن سعد أيضاً إلى المدينة المنورة، وومكة المكرمة، والكوفة، ولم تكشف مصادر ترجمته عن الترتيب الزمني لهذه الرحلات، ولا عن تاريخ كل منها، إلا ما ذكره ابن سعد في الطبقات في ترجمة أبي علقمة عبد الله بن محمد الفروي، حيث قال:"وكان قد لقي نافعاً وسعيد بن أبي سعيد المقبري ...، ولكنه عُمّر حتّى لقيناه سنـة تسع وثمانين ومائة بالمدينـة المنورة "، وكانت وفاة الفروي سنة (190هـ). 
ومن شيوخه المدنيين معن بن عيسى القزاز ( ت198هـ )، وأنس بن عياض الليثي ( ت200هـ )، ومحمد بن أبي فديك ( ت 199هـ )، وأبي بكر بن أبي أويس الأصبحي ( ت202 هـ)، وغيرهم.
فدخوله المدينة المنورة كان قبل سنة مائتين، مع احتمال تردّده عليها، وهذا يدل على تبكير ابن سعد في الرحلة لطلب العلم، مقتدياً في ذلك بسلفه من الأئمة الحفّاظ.
ورحل إلى مكة أيضاً، وبها سمع من سفيان بن عيينة (ت198هـ)، ولم يكثر عنه، ومؤمل بن إسماعيل (ت206هـ)، وغيرهما من الأئمة الحفاظ من أهل مكة المكرمة، أو ممّن قدمها لأداء المناسك، حيث كانوا يعقدون فيها مجالس الحديث.
ويظهر أنه تكرر قدومه إلى مكة، فسمع ممن ماتوا بعد سفيان ابن عيينة، كسعيد بن منصور (ت227هـ)، وعبد الله بن مسلمة القعنبي (ت221هـ)، وغيرهما .
وقد صرح ابن سعد في الطبقات أنه كان بمكة المكرمة، وسأل أحد العارفين بأخبارها– وهو أبو بكر بن محمد بن أبي مرة المكي– عن منزل عمر بن الخطاب الذي كان في الجاهلية، فذكره له.
وأما الكوفة فقد صرح بأنه كان فيها مع شيخه عبد الله بن إدريس الأودي الكوفي ( ت192هـ)- وكان يمشي معه في حاجة لـه- فدله على دار الحكم بن عتيبة. 
ويشـكل علماء الكوفة قسـماً كبيراً من ثقافتـه، ومن أقدم شيوخه الكوفيـين الذين أخذ عنهم ولم يذكروا لـه قدوماً إلى بغداد حميد بن عبد الرحمن الرُؤاسي (ت189هـ). 
وسمع بالكوفة ممّن كان فيها من كبار المحدّثين – بالإضافة إلى عبد الله ابن إدريس - مثل: عبيد الله بن موسى العبسي (ت213هـ)، وعبد الله بن نمير (ت 199هـ)، وغيرهما .
على أن هناك طائفة من مشايخه الكوفيين ممن قدموا بغداد وحدثوا بها، أو نزلوها، لا يمكن لنا الجزم بأن ابن سعد سمع منهم بالكوفة أو ببغداد من أمثال : أبي معاوية الضرير محمد بن خازم ( ت195هـ)، ووكيع بن الجرّاح (ت197هـ)، وأبي نعيم الفضل بن دُكين (ت219هـ)، ومحمد بن فضيل بن غزوان (ت195هـ)، وغيرهم . 
وغيرهم . 
وقد عدّه الحافظ ابن عساكر في تاريخه الحافل ممن دخل دمشق وسمع بها من سليمان بن عبد الرحمن، وإسماعيل بن عبد الله السّكري، وزيد بن يحيى بن عبيد، وعمر بن سعيد الدمشقي، والوليد بن مسلم .
ولم أر أحداً سبقه إلى ذلك، فلعل سماع ابن سعد لبعض من كان ببلاد الشام ممن تقدمت أسماؤهم، وغيرهم، إنما كان ببغداد، لكثرة من يرد عليها من العلماء والمحدثين في ذلك العصر، أو في مواسم الحج، إذ يجتمع فيه المسلمون من كل مكان، وفيهم العلماء من محدثين وفقهاء ومفسرين وغيرهم.
وبعد هذا العرض الموجز لرحلات ابن سعد، فإن الأمر يحتاج إلى مزيد بحث وتتبع، ليعرف الباحث تاريخ دخوله لهذه المدن ومدى إقامته فيها، وذلك بمعرفة وفيات شيوخه في البلدان التي زارها، مع النظر في إكثاره وإقلاله عنهم .
وعلى كلٍ فإن الأمصار التي دخلها ابن سعد، وتلقّف العلم من أهلها كانت تشكل في عصره أقوى مراكز النشاط العلمي، وأزهى العصور الإسلامية، لما ظهر فيها من فطاحل العلماء في مختلف التخصصات العلمية المتنوعة مثل علم الحديث، والتراجم، والجرح والتعديل، والعلل، والسير والمغازي، وغيرها من العلوم الأخرى : كالفقه والتفسير واللغة، ونحوها .
وقد أفاد ابن سعد من هذه العلوم، وكتابة "الطبقات الكبرى " خير شاهد على ذلك .