初来日は1970年1月。まだアメリカで注目を浴びる前の無名時代、吉原功にスカウトされモンスター・ロシモフ（Monster Roussimoff）のリングネーム（吉原命名）で国際プロレスへ参戦した。この前年5月18日にパリで行われた初代IWA世界タッグ王座決定戦でイワン・ストロゴフと組み、豊登&ストロング小林と戦うも1-2で敗れているが、日本でも報道されて評判は伝わっていた。1月18日に福岡市九電記念体育館で行われたIWA世界タッグ王座決定戦では、マイケル・ネイダーとのコンビでサンダー杉山&グレート草津を破り王座を獲得するが、2月3日の広島県立体育館にて杉山&草津に敗れ、短命王者となった（2月11日にもネイダーと組んで杉山&草津に再挑戦したが敗退）。この初来日時、AWAの総帥バーン・ガニアと邂逅、北米進出のきっかけを掴む。1971年の再来日ではカール・ゴッチやビル・ロビンソンを抑え、第3回IWAワールド・シリーズで優勝を果たした。また、1972年の第4回IWAワールド・シリーズでも決勝に進出するが、小林に敗れて準優勝に終わった。またこの来日時、5月4日に新潟市体育館において、イワン・バイテンをパートナーに杉山&ラッシャー木村が保持していたIWA世界タッグ王座に再挑戦している。その後、ブッキング権がガニアからWWFのビンス・マクマホン・シニアに移行したことに伴い、1974年2月より日本でのリングをWWFと提携していた新日本プロレスへ移し、アントニオ猪木との抗争を開始 。1974年3月15日に岡山武道館で行われた猪木との初のシングルマッチでは、当時のマネージャーだったフランク・バロアがロープに飛んだ猪木の足を取ってダウンさせ、ジャイアント・プレスでフォール勝ちを収めた。以降の対戦では、猪木が掛けたキーロックをアンドレが軽々と持ち上げる、アンドレが掛けたカナディアン・バックブリーカーを猪木がロープを蹴って返しリバース・スープレックスで投げる、というムーブが見せ場として定着した。猪木がウィレム・ルスカやモハメド・アリとの対戦で異種格闘技戦をスタートさせた1976年の10月7日には、蔵前国技館にて「格闘技世界一決定戦」と銘打たれた両者のシングルマッチが行われた。猪木の保持していたNWFヘビー級王座には、1974年12月15日にブラジル・サンパウロのコリンチャンス・スタジアム、1977年6月1日に名古屋の愛知県体育館にて、2度にわたって挑戦。猪木が坂口征二とのコンビで戴冠していたNWA北米タッグ王座にも、ロベルト・ソト、トニー・チャールズ、ザ・プロフェッショナル（ダグ・ギルバート）など、いずれも弱体ながらパートナーを代えて3回挑戦している。新日本プロレスではスタン・ハンセンとも外国人同士によるスーパーヘビー級の抗争を繰り広げ、1981年9月23日、田園コロシアムで行われたハンセンとの一騎討ちは、日本のプロレス史に残る伝説の名勝負とされる 。同年12月10日には、レネ・グレイをパートナーに大阪府立体育館にて猪木&藤波辰巳を破り、第2回MSGタッグ・リーグ戦に優勝 。1982年4月1日には蔵前国技館にてキラー・カーンを下し第5回MSGシリーズも制覇している（新日本のシングルのリーグ戦における外国人選手の優勝はこれが初めて）。新日本プロレス参戦時は、実況アナウンサーである古舘伊知郎が、大巨人、巨大なる人間山脈、一人民族大移動などの表現を使ったことから、これらがアンドレのニックネームとなった（古舘はこの他にも「一人というには大きすぎる。二人といったら世界人口の辻褄が合わない」「人間というより化け物といった方がいいような」「都市型破壊怪獣ゴジラ」「怪物コンプレックス」「一人大恐竜」「ガリバーシンドローム」といった形容詞も使用している）。1985年には将軍KYワカマツをマネージャーに従え、ジャイアント・マシーン（Giant Machine）なる覆面レスラーにも変身した。マシーン軍団はWWFでもコピーされたため、アメリカにも同様のギミックで登場したことがある。キャリア晩年に使用していた黒のワンショルダー・タイツは、この頃の名残である。なお、ジャイアント・マシーンの正体は公然の秘密だったが、相棒であったスーパー・マシーン（正体はマスクド・スーパースター）については、WWFオフィシャル発表では「北海道生まれの日本人」ということにされていた。アンドレもそれに合わせ、プロモーション用のインタビューで珍妙な日本語を話したり、お辞儀をしたりなどしていた。WWFと新日本プロレスの提携解消後も、1986年まで新日本プロレスに参戦し、4月29日にはUWFの前田日明との不穏試合も行われている。5月開幕のIWGPチャンピオン・シリーズでは、6月17日の愛知県体育館における公式戦にて、猪木に腕固めで初のギブアップ負けを喫した。それ以降、しばらく来日が途絶えていたが、1990年4月13日に東京ドームで開催された日米レスリングサミットにて久々に日本マットに登場し、ジャイアント馬場と大巨人コンビを結成。同年9月30日、馬場のデビュー30周年記念試合でタッグながら初対決してからは全日本プロレスへ主戦場を移し、1990年、1991年と世界最強タッグ決定リーグ戦には馬場との大巨人コンビで出場し、1991年には準優勝している。しかしコンディションはどんどん悪化したため、1992年からは馬場や木村のファミリー軍団に加わり、悪役商会との明るく楽しいプロレスが中心となった。しかし、10月21日に日本武道館で行われた全日本プロレス創立20周年記念試合（馬場&ハンセン&ドリー・ファンク・ジュニアvsジャンボ鶴田&アンドレ&テリー・ゴディ戦）では、アンドレvsハンセンの対決が再び実現。アンドレの動きは全盛期とは程遠かったものの、ハンセンのウエスタン・ラリアットを喰らっても倒れず、ロープにもたれる程度に踏み留まってみせるなど、最後の最後まで怪物ぶりを見せつけた。なお、アメリカではベビーフェイスの人気選手として活躍していたが、新日本プロレスではヒールのポジションに回った。もっとも日本でも、ザ・シークやフレッド・ブラッシーのようなスタイルのヒールを演じていたわけではなく、馬場をも凌ぐ圧倒的な巨体と強さのためにヒール扱いされてしまったものである。しかし、アンドレは日本におけるヒールとしての役割を受け入れ、「日本人嫌い」というイメージが損なわれないようサインなどのファンサービスはほとんど行わず、マスコミの取材に応じることも少なかった。一転して全日本プロレスへ参戦していた当時のアンドレは、馬場とコンビを組んでいたこともあって、新日本時代とは異なり完全なベビーフェイスとなった。全日本登場第1戦から出番のたびに大アンドレ・コールで迎えられ、笑顔でファンの声援に応じたり、入場時の花束贈呈の際には、花束を受け取るとブーケ・トスのように後方の客席に投げてプレゼントしたり、コールの時には二本指を立てて腕を上げるアピールも見せていた。また、初来日を果たし、北米進出の契機にもなった国際プロレスに対するアンドレの思い入れは非常に深く、1974年の新日本移籍後も、同年6月と1979年7月に国際プロレスに特別参加したことがある（1979年の参戦時には、7月20日に秋田県大館市にて木村のIWA世界ヘビー級王座に挑戦した）。日本での親友でもあったマイティ井上の談では、ギャラについても「いくらでもいい」などと語っていたという（後述）。日本での最後の試合は1992年12月4日日本武道館、馬場・アンドレ・ラッシャー木村のトリオで六人タッグマッチ(vs大熊元司＆永源遙＆渕正信)でアンドレが大熊をフォールした。奇しくも大熊の最後の試合でもあった。