Mediauppspelning stöds inte på den här enheten
Den 29-årige gjorde en enda yuko för att slå Graf 1-0 i den första bronsmedaljmatchen i viktklassen.
Conway hade tidigare slagit världsmästare Gevrise Emane av Frankrike men blev slagen av Colombias Yuri Alvear för rätten att kämpa för guld.
Den Bristol-födde judoka vann brons för Skottland vid 2014 års samväldesspel.
"Det har inte sjunkit in", berättade hon för BBC Sport. "Jag visste att om jag skulle komma undan med en medalj skulle jag behöva sätta in mina bästa föreställningar.
"Jag är inte från Brasilien men publiken har varit fantastisk. Jag vill bara tacka alla."
Ta reda på hur du kommer in i judo med vår speciella guide.
Conway led ligamentskada under sitt andra-round nederlag i London 2012 och var tvungen att opereras.
"Det här har varit min dröm sedan London", tillade hon. "Jag kan inte uttrycka det i ord."
Storbritanniens Gemma Gibbons, som vann judosilver i London 2012, twittrade: "Hon är bara borta och gjorde det.
"Absolut fantastiskt från Sally Conway. Vår olympiska medaljör miss Conway."
Japans Haruka Tachimoto slog Colombias Yuri Alvear avippon för att vinna guldmedaljen och Tysklands Laura Vargas Koch besegrade Spaniens Maria Bernabeu av wazari för att vinna den andra bronsmedalj tävlingen.
Prenumerera på BBC Sport nyhetsbrev för att få vårt tips på nyheter, funktioner och video skickas till din inkorg.
Briton Sally Conway besegrade Österrikes Bernadette Graf för att vinna -70kg judo bronsmedalj.