承諾しかねる場合は断ってもOKです。
ただし、採用担当に「後ろめたいことがあるのか？」といった懸念を抱かせる可能性もあることを覚えておきましょう。「会社に内緒で転職活動をしている」「短期間しか勤めていなかったので、推薦者として紹介できる人がいない」などの理由があれば、きちんと伝えることをおすすめします。