בשנת 1862 ייסד בית דפוס עברי באודסה. מדיניות הליברליזציה היחסית שהונהגה באימפריה הרוסית הביאה בכנפיה גם הקלות על בתי הדפוס והעיתונות, ואפשרה צמיחתה של עיתונות יהודית רב–לשונית. בילינסון ניצל חופש זה, והיה בין השוקדים על הפצתה של ההשכלה ברחוב היהודי בעיתונים ובספרים. ב-1855, בימי מלחמת קרים, עמד בחליפת מכתבים עם ראשי המשכילים בעניין הוצאתה של עיתונות עברית. בשנת 1865 ערך והדפיס מאסף מדעי וספרותי בשם " עלי הדס" שהשתתפו בו רבים מהמשכילים של אותה תקופה. בין היתר התפרסמה בו לראשונה יצירה משל פרץ סמולנסקין (בילינסון ניסה "לתקן ולשפר" את סגנונו של סמולנסקין, אולם רוב תיקוניו נדחו על ידי המחבר). במאסף הופיעו גם חלופי מכתבים בינו לבין לודוויג פיליפסון, אודות מצב היהודים באימפריה הרוסית, ובינו לבין יצחק אייזיק בן יעקב (מכתבים אלה פורסמו בחוברת א, עמ' 27–24). כתב העת לא הצליח מבחינה כלכלית, ולאחר ארבע חוברות פסק מלהופיע.