Roberts lågfinish kom efter lagkamrat Christian Burgess varnades två gånger inom en minut, först efter en tös med Francois Zoko och sedan för att ha fouling Ryan Dickson.
Zoko hade tidigare kastat sig på stackars Pompeius försvar från ett hörn för att sätta Glovers framåt på den avlägsna posten.
Portsmouth stannar på play-off platser, med Yeovil fortfarande bredvid botten.
Portsmouth manager Paul Cook berättade för BBC Radio Solent:
Mediauppspelning stöds inte på den här enheten
"Det är en fantastisk punkt, men aldrig i något skede var vi spelar bra i spelet eller vi var i kontroll över spelet.
"Jag tyckte Yeovil var utmärkt på dagen. Det var ett svårt spel för oss, men verkligheten var att vi aldrig spelade bra och vi har grävt oss en punkt och i slutet av säsongen tror jag att vi kommer att titta på den punkten som en bra punkt.
"Vi var inte på det idag som förra veckan. Som krubba kommer det alltid ner till mig, jag accepterar det, men när man försöker förändra en kultur av en klubb är det svårt."
Gary Roberts räddade en poäng för 10-mans Portsmouth med en utjämnare vid delegation-hotade Yeovil Town.