Долгое время Брайан состоял в отношениях с ирландской моделью и телеведущей , пока они не расстались в 2005 году. В своей автобиографии он писал, что над ним по этому поводу часто подшучивали одноклубники. В июле 2010 года он женился на актрисе . У них трое детей: дочь Сэди, родившаяся 10 февраля 2013 года за несколько часов до матча Кубка шести наций между Ирландией и Англией, сын Билли, родившийся 20 ноября 2014 года, и сын Тед, родившийся 28 декабря 2020 года. В феврале 2011 года Брайан и Эми получили приглашение на свадьбу принца Уильяма и Кэтрин Миддлтон, однако на свадьбу приехала только Эми, поскольку Брайан в составе «Ленстера» готовился к матчу полуфинала Кубка Хейнекен против «Тулузы», который должен был пройти буквально на следующий день после свадьбы. В свою очередь, 18 мая 2011 года О’Дрисколл побывал на торжественном ужине, который организовала президент Ирландии Мэри Макэлис по случаю официального визита королевы Елизаветы II в Республику Ирландия.