De söker garantier för hans totala samarbete med den kommande missbruksutredningen i Nordirland.
De vill via honom säkerställa "det ovillkorliga samarbetet från de order som ledde institutioner där barn placerades".
Utredningen kommer att behandla anklagelser från 1945.
Margaret McGuckin, från Savia, sade att hon blev misshandlad på ett barnhem i Belfast i Nasaret från tre års ålder.
Hon sa att de skulle be kardinal Brady att utöva påtryckningar på religiösa order att samarbeta.
"Detta har varit en lång och mödosam väg för vissa överlevande och offer, återuppväcka och återuppleva minnen som var mardrömmar för vissa", sade hon.
"Vi tror att kardinalen har en nyckelposition som gör att mardrömmen tar slut.
"Vi har letts uppför trädgårdsvägen så många gånger att det bara handlade om att berätta historier."
"Vi behöver veta att de kommer att stödja och göra ett åtagande. Vi behöver uppföljningsmöten. Vi behöver dem för att erkänna i stället för att pressa folk som deras advokater framför oss.
"Kommer de att vara genuina och kristna i sin inställning?"
Representanter för fem religiösa order där institutionellt missbruk påstås ha skett är också på mötet som började vid cirka 11:00 GMT på måndagen.
Kardinal Brady kom ut för att välkomna gruppen på sitt privata residens i Armagh. Vid lunchtid var mötet fortfarande på gång.
Savia kämpade för att NI:s exekutivbyrå skulle genomföra en utredning om historiskt institutionellt missbruk. De slutliga förberedelserna för detta görs av den förste och biträdande förste ministerns kansli.
Det är underförstått att en del av denna process kommer att inledas under de närmaste månaderna.
Det är här människor ges möjlighet att beskriva vad som hände med dem i enrum.
Den andra delen av utredningen, den lagstadgade processen, innebär dock en ändring av Nordirlands lagstiftning som måste passera genom församlingen. Detta kommer att kräva mer tid.
Den verkställande utredningen kommer att omfatta katolska religiösa order, stat och frivilliga grupper.
Det följer långa rättsliga undersökningar av fasansfulla historier om övergrepp i Irland.
Nordirlands grupp för överlevande och offer för institutionellt missbruk (Savia) träffar den katolske primaten kardinal Sean Brady.