Sammen med den par år eldre og allerede den gang anerkjente komponist, Edvard Grieg, forlot han Bergen våren 1876. De reiste via København, hvor de slo seg til ro i et par måneder. De danske kunstnerne åpnet gjestfritt sine hjem for de to, og John Paulsen knyttet varig vennskap med skuespillerinnen Johanne Luise Heiberg, forfatterinnen Magdalene Thoresen, Christian Hostrup, Carl Ploug og andre dansker.