Diefenbach ville ikke lenger bo i München, den «store, dekadente, skitne byen», så han trakk seg tilbake til Höllriegelskreuth i kommunen Pullach im Isartal, rett sør for München. Der grunnla han i 1885 det første bokollektivet i Tyskland, (=verksted for kunst, religion og vitenskap). Han drømte om et samfunn der alle skulle leve i et stort kjærlighetskollektiv, forent i avholdenhet fra kjøtt, fra eiendomsbegjær og aggresjon. Bokollektivet i Höllriegelskreuth skulle være den første konkretiseringen av denne visjonen.