Alexander og Gesine Grieg hadde fem barn. Edvard var nummer fire i rekka. Han vokste opp i Strandgaten 152 i nærheten av Fisketorget og Tyskerbryggen. Huset ble ødelagt i en eksplosjon 20. april 1944 og området bygd om, men det er satt opp en minneplate der Griegs barndomshjem tidligere sto.