Ohm ble født i Erlangen i Bayern. Han var sønn av låsesmed Johann Wolfgang Ohm og Maria Elizabeth Beck, datter av en skredder i Erlangen. Ohms foreldre var protestanter, og hadde liten eller ingen formell utdannelse. Faren var imidlertid svært belest, og underviste ofte sine barn hjemme på et høyt nivå. Ohm hadde flere søsken, men bare tre vokste opp. Georg Ohms lillebror, Martin Ohm ble en velkjent matematiker.