Moi Ali, som lämnade styrelsen mitt i en rad över möten som hölls bakom stängda dörrar, berättade Holyrood offentliga revisionskommittén hon kände sig mobbad.
MSP och polisen vakthund tittar på öppenhet på SPA.
Nuvarande styrelseledamöter försvarade Flanagan och sade att det fanns en "förändrad atmosfär".
Den offentliga revisionskommittén har hållit en rad möten om öppenhet på myndigheten, med en MSP, Alex Neil, som kritiserar ett skenbart "hemligt samhälle" inom styrelsen. Han sa tidigare till mr Flanagan att det inte är Kreml du springer.
Vid den senaste sessionen var bland annat Derek Penman, HM:s chefsinspektör för polisväsendet i Skottland, Ali och en grupp nuvarande styrelsemedlemmar.
Ali lämnade styrelsen mitt i en rad med Flanagan om huruvida möten bör hållas bakom stängda dörrar.
Hon sade att Flanagan hade sagt till henne att uttrycka oenighet offentligt var en avgångsfråga, och berättade för MSPs att hennes "avvisning från styrelsen är ett enkelt straff för att ha uttalat sig".
Hon sade att det hade varit en "verkligen fasansfull upplevelse", och sade att hon inte trodde att det skulle ha hänt henne om hon var en man.
Frågad av Labour MSP Monica Lennon om hon tyckte att Mr Flanagan var lämplig att fortsätta som ordförande i SPA styrelsen svarade hon: "Han är inte lämplig att fortsätta i någon offentlig styrelse."
Styrelseledamöterna försvarade dock Flanagan och myndigheten, med Iain Whyte som "en bättre styrelse och en bättre organisation".
Och George Graham sa att han inte kände igen karakteriseringen av styrelsen som presenterades och sade "vi lyssnar och vi är redo att anpassa vår strategi".
Han sade att det fanns en "förändrad atmosfär" på SPA sedan Flanagan tog över och sade att styrelsen var "mycket mer engagerad" med "en tydligare känsla av syfte".
Och han försvarade möten bakom stängda dörrar och sade att det måste finnas "tydligt utrymme för att diskutera svåra och komplicerade frågor".
Han sade: " Om vi har fel balans och behöver utföra mer kommittéarbete offentligt, då kommer vi att göra det. Men varje styrelse behöver åtminstone lite privat utrymme för att fatta beslut och diskutera några av de svåra, komplexa frågor polisväsendet kommer att möta.
Neil sammanföll upprepade gånger med de sittande styrelseledamöterna och beskrev de icke verkställande styrelseledamöternas granskning som "helt otillräcklig".
Han sade att han inte var kvar med en hel del förtroende att medlemmarna "göra rätt jobb" och hålla ordföranden för att stå till svars.
Graham svarade dock: "Det finns en hel del bra saker som vi gör. Fokus på en enskild punkt, eller misslyckande om du vill kalla det så, tycker jag är en dålig karaktärisering av vad vi gör."
SNP-ledamot Neil sade också att han ville att Flanagan skulle komma tillbaka för att än en gång vittna för utskottet om vad han kallade en "PR-katastrof".
Under den föregående sessionen sade ordföranden att myndigheten gjort "betydande framsteg" under det gångna året.
En tidigare styrelsemedlem i skotsk polismyndighet har hävdat att dess ordförande Andrew Flanagan är "inte lämpad att fortsätta i någon offentlig styrelse".