સેનનો જન્મ ભારતના પશ્ચિમ બંગાળમાં શાંતિનિકેતનમાં એક બંગાળી હિન્દુપરિવારમાં થયો હતો. તેમના વડીલોનું મૂળ વતન આમ તો હાલના બાંગ્લાદેશના ઢાંકામાં આવેલ વારી હતું. રવિન્દ્વ નાથ ટાગોરે તેમનું નામ અમર્ત્ય સેન પાડ્યું હોવાનું કહેવાય છે ("અમર્ત્ય"નો અર્થ "અમર"). સેન એક પ્રતિષ્ઠીત પરિવારમાંથી આવે છે: તેમના નાના કિસ્તી મોહન સેન રવિન્દ્રનાથ ટાગોરના નિકટના સહયોગી તેમજ મધ્યકાલીન ભારતીય સાહિત્યના એક પ્રસિદ્ધ વિદ્વાન, હિંદુ ધર્મના તત્ત્વજ્ઞાન પરના અધિકારી, ઉપરાંત વિશ્વ ભારતી યુનિવર્સિટીના બીજા ઉપકુલપતિ હતા. તેમના નાના સુકુમાર સેન ભારતના પહેલા મુખ્ય ચૂટણી કમિશનરના કાકા, અને તેમના ભાઈ અશોક કુમાર સેન કાયદા અને ન્યાય વિભાગમાં કેન્દ્રીય કેબિનેટ પ્રધાન રહી ચૂક્યા છે. સેનના પિતા આશુતોષ સેન અને માતા અમિતા સેનનો જન્મ માનિકગંજ, ઢાકામાં થયો હતો. તેમના પિતા ઢાકા યુનિવર્સિટીમાં રસાયણશાસ્ત્રના પ્રોફેસર અને પશ્ચિમ બંગાળ ગૌણ સેવા આયોગના અધ્યક્ષ હતા.