はい、できます。この文では「of」は必要ありません。
例: Get off me!（僕から離れてくれ！）
例: Get off her!（彼女から離れろ！）