朋友的行为经常令众人骇异。他的家由汉丽埃塔·瓦班，一名从维也纳带过来的老妇，严格打理，她显然对亲王有很大的影响力。他的住处为各种个性的人开放，自1801年起被处决的路易十六的弟弟，未来的路易十八和他的家人与宫廷需要一个去处，便在几年中成为波尼亚托夫斯基瓦津基宫的座上宾。在1802年，因受来自斯坦尼斯瓦夫·奥古斯特继承权的困扰，波尼亚托夫斯基制订了去柏林的旅行计划，他在那里带几个月，并与普鲁士王室建立友好的私人关系。约泽夫亲王终生未婚，他的两个儿子来自于他的未婚妻，其中最后一个，也是最重要的是出身于波托茨基家