મોદીનું પીએમ બનવુ મુશ્કેલ, સુબ્રમણ્યમ સ્વામીએ જણાવ્યુ મોટુ કારણ