ロンメルの方が年上なの、ヘレーネの方が年上なの?
子供の頃のロンメルは、病気がちで大人しい少年だったという。姉ヘレーネによると、ロンメルは、色白で髪の色も薄かったので、家族から「白熊ちゃん」とあだ名されていた。しかし、ロンメル本人は、人事記録の中に挟んだ覚書の中で、「幼い頃、自分の庭や大きな庭園で走り回って遊ぶことができたので、とても幸せだった」と述懐している。

1898年、父がアーレンの実科ギムナジウムの校長となったことで、一家はアーレンに引っ越したが、アーレンには小学校(Volksschule)がなかったため、ギムナジウムに入学するまでの間、ロンメルは家庭教師から授業を受けていた。そして、1900年には、父親が校長を務める実科ギムナジウムに入学した。当初、ギムナジウムでは劣等生であり、怠け者で注意散漫だったという。あるとき、勉学に不熱心だったロンメルに勉強させるため、教師が「書き取りテストで間違いしなければ、楽隊と一緒に遠足に出かけよう」と彼に言うと、ロンメルは、これを真に受けて必死に書き取りの勉強をして、テストで間違いをしなかったが、約束の遠足につれて行ってもらえなかったので、また勉強をしない生徒に戻ってしまったという。読書にも運動にも興味がない子供だったが、10代になると突然活発になった。数学の成績が良くなり、スポーツにも関心を持つようになった。また、飛行機の研究に夢中になり、14歳の頃には親友と二人で実物大のグライダーを作成した。結局、まともには飛ぶことはなかったが、ヨーロッパでは1906年に初めて動力を備えた飛行機が飛行したばかりであった。

ロンメルは、航空機関連のエンジニアになることを希望していたが、父親がそれに反対したため、ヴュルテンベルク王国軍に入隊することになった。軍に入ることについて、本人はあまり乗り気でなかったらしい。