方心让是陈方安生的四叔。至于胞妹方心淑是香港红十字会甘迺迪中心创校校长，曾获颁MBE勋衔。方心让与家人早年先后在南京及上海等地生活，1936年举家逃难移居香港。他于同年入读英皇书院，而且很快就学会广东话和英文。到1940年，他更以17岁之龄提早升读香港大学，修读医学，并且是利玛窦舍堂堂友。入读大学初时，虽然方心让家境并不特别富裕，但幸得大学内的神父帮助，将一个食品储藏室改装成宿舍，他才在大学有安身之所。惟1941年的时候，太平洋战争爆发，日军挥军香港，期间方心让曾在香港保卫战中加入义勇军团，参与医疗救援