重複データを避けるためには、追記する前に既存のデータと新しいデータを比較し、重複がないかを確認する必要があります。 pandasを使用する場合、merge()やconcat()を用いて重複をチェックし、重複がないデータのみを追記することができます。 例えば、drop_duplicates()メソッドを使って重複を削除することも可能です。