Edward Raczyński var sønn av grev Edward Alexander Raczyński og Rose, født grevinne Potocka. Han tilhørte en av de eldste adelsslekter i Stor-Polen, som 1. februar 1824 ble opphøyet i arvelig prøyssisk grevestand av kong Fredrik Vilhelm III av Preussen. Slekten eide Rogalin-slottet i provinsen Posen med store kunstsamlinger. Raczyński ble utdannet i Berlin, Paris og Roma.