Besökscentret var ett av de få elementen i Antrimfängelset som nyligen hyllades i en fördömande rapport.
Men bussen som tog folk mellan centrum och fängelset stannade efter starten av ett nytt kontrakt.
Nordirlands fångvårdstjänst sade att det finns arrangemang för att "hjälpa personer med rörlighetsfrågor".
Strax före jul tog ett privat företag över driften av besökscentret från Quaker Service, en välgörenhetsorganisation för familjestöd, och busstrafiken slutade.
Malcolm McCormick sade att det har gjort det svårt för människor att besöka fängelset eftersom det är för långt att gå.
Han hade besökt en vän regelbundet i fängelset, men på grund av sina handikapp kunde han inte köra bil och var tvungen att använda kollektivtrafik.
Men när han kom till besökscentret i början av december fick han veta att han måste ta sig till fängelsets ingång.
"[Fängelset] är inte rätt åtkomstnivå för besök", sade han.
"De bryr sig verkligen inte om människor som har funktionshinder, eller människor som måste besöka sina nära och kära inuti."
Fram till december valde McCormick ett tåg närmast sitt besök och väntade sedan på besökscentret till sin tid, precis som många andra fängelsebesökare.
De fördes sedan till huvudfängelset i en minibuss, som liksom besökscentret drevs av Quaker Service.
Men när kontraktet för besökscentret tilldelades ett privat företag ingick inte tillhandahållandet av en buss i anbudet.
Det är ungefär en kvarts mil från centrum till fängelset, som McCormick sade var för långt för honom och andra, "särskilt personer med rörlighetsproblem, personer med dålig syn eller barnafödande".
Han sade att även om en taxi kunde släppa av honom vid huvudbyggnaden från tågstationen, kunde han inte vänta i själva fängelsebyggnaden och att besökscentret var det enda stället som människor kunde vänta på.
McCormick ansåg att hans enda alternativ var att få en taxi hela vägen från Belfast, vilket kostade honom "omkring 40 pund vid varje besök".
Den senaste rapporten om Maghaberry-fängelset var förödande på nästan alla fronter, men det gav ett område en glödande recension.
Det sades: "Det välkomnande besökscentret fortsatte att erbjuda gott stöd, bland annat till förstagångsbesökare som identifierades.
"Busen som transporterade besökare mellan besökscentret, sökområdet och fängelset gav nu också service till och från den lokala järnvägsstationen Moira."
McCormick sade att fångvården måste göra mer för att hjälpa besökare.
Raymond McCartney, vice ordförande för Nordirlands församlings kommitté för rättsliga frågor, sade att det borde finnas "medlidande" som visas för fångars familjer och vänner som besöker fängelset.
"Jag tycker att det är en viktig tjänst - avståndet från besökscentret till grinden är betydande", sade han.
– Nyligen, när jag satt i fängelset och talade med de högre cheferna, trodde de att en lösning kunde läggas fram.
"Jag hoppas, kanske under de kommande veckorna, att vi kan få en lösning på detta."
I ett uttalande sade Nordirlands fångvårdstjänst: " Kontraktet för besökscentret i Maghaberry tilldelades genom en öppen och öppen upphandlingstävling.
"Fängelsetjänsten kommer att fortsätta att samarbeta med leverantören för att säkerställa att det finns tjänster för att stödja relationer mellan familjer och fångar."
En handikappad man har sagt att hans besök i Maghaberry fängelse har blivit svårare sedan ändringar gjordes i besöksbussen.