Lapid ble født inn i en jødisk familie med ungarsk bakgrunn og hadde mye av barndommen i Jugoslavia. Under annen verdenskrig ble han og familien plassert i ghettoen i Budapest, samtidig som faren ble satt i konsentrasjonsleir og døde.