Rudd vokste opp på en melkegård nær Eumundi i Queensland. Faren døde da han var elleve år gammel, og familien måtte flytte.