I august 1994 blei Goldstone den første sjefsanklageren ved Den internasjonale straffedomstolen for det tidligere Jugoslavia, oppretta ved vedtak i FNs sikkerhetsråd året før. Da rådet like etterpå oppretta Den internasjonale straffedomstolen for Rwanda, blei han sjefsanklager der også. Dette var på mange vis nybrottsarbeid, enda om en hadde Nürnbergrettssakene fra 1945–46 å bygge på. Goldstone hadde anklagervervet til september 1996.