振华的先祖在明末清初时，由安徽移居杭州，开设李广裕号，作为家族企业，贩卖丝织物等。在太平天国期间，因战乱，李广裕号倒闭，家道中落。其曾祖父与友人合资成立怡生号，贩卖颜料，煤油及杂货。李振华为家中长子，有两个姐妹。1918年（民国7年），其父亲因流行性感冒流行而过世。李振华由母亲及祖母养育长大，自幼进私塾学习古文，毕业于之江大学经济系，后留学日本，就读明治大学经济系。在对日抗战开始后，李振华休学，回到杭州，带着家族在各地逃难，躲避战祸。1947年（民国36年），因为二二八事件，陈仪被免职，由魏道明接任