অমর্ত্য সেনের আদি নিবাস বাংলাদেশের মানিকগঞ্জে। তাঁর শিশুকাল কেটেছ বাংলাদেশের রাজধানী ঢাকার ওয়ারীতে। জানা যায়, কবিগুরু রবীন্দ্রনাথ ঠাকুর তাঁর নাম রেখেছিলেন অমর্ত্য, যার অর্থ অমর বা অবিনশ্বর। অমর্ত্য সেন একটি সম্ভ্রান্ত পরিবারে জন্মগ্রহন করেছেলেন। তার নানা আচার্য ক্ষিতিমোহন সেন ছিলেন মধ্যযুগীয় ভারতীয় সাহিত্যের একজন পন্ডিৎ এবং রবীন্দ্রনাথ ঠাকুরের সহযোগী। এছাড়াও তিনি সংস্কৃতি ভাষার অধ্যাপক এবং বিশ্বভারতী বিশ্ববিদ্যালয়ের দ্বিতীয় উপাচার্য ছিলেন। ক্ষিতিমোহন সেনের তিনজন ভাতিজার মধ্যে সুকুমার সেন ভারতের প্রথম নির্বাচন কমিশনার, অমিয় সেন একজন প্রসিদ্ধ ডাক্তার এবং ব্যারিস্টার অশোক কুমার সেন, এমপি. ছিলেন ভারতের কেন্দ্রিয় আইন ও বিচার মন্ত্রনালয়ের একজন সাবেক কেবিনেট মন্ত্রি। অমর্ত্য সেনের বাবা অধ্যাপক আশুতোষ সেন এবং মা অমিতা সেন দুজনেই ঢাকার মানিকগঞ্জে জন্মগ্রহন করেন। আশুতোষ সেন ঢাকা বিশ্ববিদ্যালয়েররসায়ন বিভাগের অধ্যাপক এবং পরবর্তীতে ওয়েষ্ট বেঙ্গল পাবলিক সার্ভিস কমিশনের চেয়ারম্যান হিসেবে দিল্লিতে কর্মরত ছিলেন।