複数回イベントを付けたくないだけなら、イベントの追加をajaxの外で出来ないだろうか。なんか、毎回DOMを破棄して作りなおすの無駄な気がします。

例えば、ajaxの度に読み込んだページの状態をページングボタン（あるいはその親のUL）のdata()に突っ込むようにして、clickイベントの中で、その値を参照して処理をするほうがスマートな感じがします。