Karadžić è nato a Petnjica, vicino a Šavnik, nel nord del Montenegro. Il padre Vuko era un calzolaio, mentre la madre Jovanka (nata Jakić) era una contadina che si sposò all'età di vent'anni. Karadžić affermava di essere imparentato con Vuk Stefanović Karadžić (1787-1864), il principale riformatore della lingua serba, ma tale dichiarazione è stata dimostrata falsa. Il padre Vuko fece parte dei cetnici, il gruppo armato monarchico jugoslavo guidato da Draža Mihailović, che combatteva contro la resistenza iugoslava di Tito; il padre venne arrestato sotto il regime di Tito e rimase in carcere per gran parte dell'infanzia del figlio.