רימון גדל במושב תל עדשים אצל הורים מאמצים, לאחר שהתייתם מהוריו בגיל צעיר מאוד. אביו שהיה סוחר בבשר וירקות נרצח בכפר סומייל בעת מאורעות 1938, על רקע לאומני עוד לפני שנולד, ולכן הוא גם קרוי על שמו (שמעון), ואמו (רחל) נפטרה ממחלת השחפת מספר חודשים לאחר מכן. כינויו כושי ניתן לו, לדבריו, כיוון שהיה "תימני קטן בין המון אשכנזים". בהמשך עבר לקיבוץ עין חרוד. משחר ילדותו היה מוכר כהרפתקן וכפורץ גבולות. בנעוריו הושפע רימון ממאיר הר-ציון ולוחמים נוספים מיחידה 101 שהיו חברים בקיבוצו.