To właśnie w KK Olimpija Lublana Modrić odnosił największe sukcesy w karierze. Dwukrotnie zdobywał Mistrzostwo Slovenska Košarkarska Liga w sezonach 2000/01 i 2001/02. Czterokrotnie triumfował także w rozgrywkach o Puchar Słowenii w latach 2000–2003. Olimpija z Modriciem w składzie odniosła także sukces na arenie międzynarodowej, jakim było zwycięstwo w Lidze Adriatyckiej w sezonie 2001/02. W 2001 Modrić został do Draftu NBA, ale nie został wybrany przez żaden zespół.