이런 경우 asking 대신에 to ask라고 하면 어색해요. 어떤 행위가 일정 기간 지속되었음을 나타내려면 진행형을 써야 한답니다. 그리고 to me 뒤에 또 to ask라고 말하는 것도 어색하게 들려요.