Wychowanek klubu HC 05 Banská Bystrica (występował w drużynie juniorskiej tego klubu do lat 18 w latach 1996–1999). Od 1999 przez trzy sezony grał w kanadyjskiej juniorskiej lidze OHL w ramach CHL. W tym czasie w drafcie NHL z 2001 został wybrany z numerem 63 przez Colorado Avalanche. Od 2002 przez trzy sezony grał w lidze AHL. W NHL gra od 2005. W pierwszym swoim sezonie wystąpił w 34 spotkaniach zastępując w bramce Davida Aebischera i Jose Theodore’a. Zanotował 47 zwycięstw w następnych 2 sezonach dzieląc miejsce w podstawowym składzie z Theodorem. Jego pierwszy występ w play-offach miał miejsce w 2008 roku w meczu drugiej rundy przeciwko późniejszym zwycięzcom Pucharu Stanleya, drużynie Detroit Red Wings. Budaj rozegrał swój setny mecz w NHL 3 listopada 2007. Zakończył się on porażką 4-3 przeciwko Vancouver Canucks. W sezonie 2008/2009 Budaj po raz pierwszy został wybrany na początku sezonu podstawowym bramkarzem swojej drużyny. Jego zmiennikiem został Andrew Raycroft. Drużyna z Colorado zajęła jednak dopiero ostatnie miejsce w konferencji zachodniej i po raz drugi w przeciągu 3 sezonów nie awansowała do fazy play-off. 29 czerwca 2009 Budaj przedłużył swój kontrakt z klubem o rok. Rozpoczął sezon 2009/2010 jako rezerwowy za Craigiem Andersonem, byłym bramkarzem Florida Panthers. Przed pierwszym występem zdiagnozowano u niego wirusa H1N1 i odizolowano od reszty drużyny do momentu gdy sztab szkoleniowy uzna iż może bez przeszkód grać. W końcu Budaj zaliczył swój pierwszy występ w sezonie 4 listopada przeciwko Phoenix Coyotes. Zatrzymał 28 z 29 strzałów zapewniając Avalanche zwycięstwo 4-1. Łącznie od 2005 do 2011 Budaj rozegrał sześć sezonów w barwach Colorado Avalanche.