낙관주의 알고리즘을 적용할 때 생기는 도전적인 문제는 다양하다. 먼저, 일반적인 상황에서는 불확실성과 노이즈로 인해 정확한 결과를 얻기 어렵다. 또한, 모델의 복잡성이 증가할수록 최적의 액션을 선택하는 것이 더 어려워진다. 또한, 데이터의 크기와 다양성이 증가함에 따라 최적의 알고리즘을 찾는 것이 더 어려워진다. 또한, 실제 환경에서의 변화와 불확실성을 고려하여 최적의 알고리즘을 설계하는 것도 도전적인 문제 중 하나이다.