はい、「mistake」につける前置詞としては「by」が一般的です！「by mistake」で、間違いで起こった、意図的ではなかったという意味になります。
例: I broke the vase by mistake.（間違いで花瓶を割ってしまった。）
例: So, by mistake, I slept in and missed my test.（それで、うっかり試験を寝過ごしてしまったんだ。）