Han var født i Holmestrand, og faren var sjømann. Johan Andersen gikk i jerndreierlære hos firmaet Sundt i Oslo fra 1919, og arbeidet hos dem til 1926. Han arbeidet på melkefabrikken i Holmestrand 1927-1929 og var deretter ansatt ved Marinens hovedverft, Horten 1929-1968. Han var klubbformann på Horten verft 1936-1937, formann i Horten jern- og metallarbeiderforening 1938–45, medlem av Horten bystyre 1945-1947 og formann i Horten Arbeiderparti 1951-1966. Andersen var også formann i Militære verksteders samorg 1946-1954 og 1956–58, og formann i Forsvarsarbeidernes skandinaviske samorg 1949-1952.