Martin Walser vokste opp hos sin mor etter at hans far døde da han var ti år gammel. Han hjalp henne i driften av familiens vertshus. I tolvårsalderen begynte han å interessere seg for lyrikk og begynte å lese Friedrich Nietzsche og Fjodor Dostojevskij.