道中には砂丘の連なる砂漠、石ころだらけの山道、アクセル全開の平原、浅瀬の河渡りなどの難所があり、「砂地でスタック」「タイヤがパンク」「バランスを失って転倒」「鉄砲水によりマシンが流される」「砂煙で前が全く見えない」「観客や他車両と接触する」といったアクシデントが多発する。近年は減ったが、ラリーレイドの行われる地域は治安が悪い場合もあり、地雷や強盗団の襲撃に見舞われる場合もある。あまりに危険と判断された場合は一部区間やステージそのものがキャンセルされる場合もある。
車両の外だけでなく内部でも「激しい上下運動を何度も繰り返すことや視界不良で車酔いを起こし、吐く」「シートが合わず、背中や腰を痛める」「ジャンプの衝撃で骨折をする」「砂が目に入る」といったトラブルに、一流選手でも見舞われることがある。さらにオートバイ系車両のように空調設備を持たないマシンも多いため、気温の変化にも弱く、熱中症による死亡事故も起きている。
そういった過酷な環境から、競争相手と助け合うという、他のモータースポーツではあまり見られないような状況がラリーレイドでは頻繁に起きる。ナビゲーションで分からない場所があれば協力してCP/WPを捜索したり、スタックやトラブルで動けないライバルを牽引して救助したりする。運営もこうした競争者同士の協力は「ラリーの精神」として基本的に肯定する立場にあり、トラブルに遭った競争相手の救助を行うと、普通に走行していたと仮定した場合の救済タイムを受けることができる場合がある。
サポート用車両（主にトラック）は運営が手配しているものもあるが、総合優勝を争うレベルのチームになると自チームのみのサポート用車両を複数台手配したり、同じクラスの競技者をエース競技者のサポートとしてつけたりする。この場合、競技のトップ争いにある程度追いつけるよう、サポート役にも相応のドライビング・ナビゲーションスキルが求められる。ただしこうしたサポート車両の支援を常に受けられるとは限らないため、自分たちで応急処置をできるだけのメカニックとしての知識は必須である。特に四輪やトラックはパンクが頻発するため、重い大径タイヤを自分たちの手で交換しなければならない。
地域によっては悪意のある客がのさばっており、マシンへに投石、目印をズラす、勝手にジャンプ台や障害物を作られるなどの妨害に遭うこともある。