האזכור הראשון של הסרו בספרות היפנית, מופיע ככל הנראה בספר ניהון שוקי (המאה ה-7); בספר מוזכר לראשונה שטמו, קיסר יפן שלח עורות של "יאמושישי" למדינאים בכירים, והכינוי הזה חוזר על עצמו במספר דפים בספר. ההיסטוריונים טוענים שסביר להניח שה"יאמושישי" הוא הסרו היפני. ה"מאניאושו" - אוסף השירים היפנים העתיק ביותר מתקופת אסוקה, מכיל "ואקאה" אחת של המשורר היפני המפורסם קאקינומטו נו-היטומארו שבה מוזכר קבוצה של "שישי". מספר סופרים הגיעו למסקנה שמדובר בסרואים, אם כי אחרים הצביעו על כך שהסרו בדרך כלל חי בבדידות. במסמכים מתחילת תקופת הייאן (המאה ה-8-המאה ה-12), מתועד הבאת קרני סרו לבירה בתור מתנות. בספר הרפואה הקדום ביותר שנמצא ביפן - ה"דאטונג רויג'ו" (המאה ה-9), מופיע השימוש בקרניו ובשרו של הסרו למטרות רפואיות. במשך מאות השנים הבאות, האזכורים של הסרו בתקופת הייאן הופכים לנדירים יותר, ופה ושם מוזכר כי הוא נרדף לשימוש רפואי.
בתקופת אדו (המאה ה-17-המאה ה-18) חלה עלייה מסוימת באזכור הסרו. באנציקלופדיה היפנית "ואקאן שאנשי זוה" שנכתבה על ידי רופא מאוסקה בשנת 1712, יש איור של הסרו. בתקופת אדו נכנסו לתקפם מספר חוקים הנוגעים לבעלי חיים ובכללם הסרו הידועים בשם "צווי שאורוי", אם כי מרבית החוקים התייחסו בעיקר לאחזקת בעלי חיים ביתיים בצורה ראויה ופחות לאיסורים על ציד. בסביבות רסטורציית מייג'י בשנת 1868, החלו להופיע איורים של סרו בציורים מפורסמים, כמו בספר "הצומח והחי של יפן" של הרופא והביולוג קייסוקה איטו (1870).
בציד.
במאה ה-19 הסרו כבר היה ניצוד בצורה נרחבת בצפון יפן יחד עם הדוב השחור האסייתי, בעיקר על ידי ציידי ה"מאטאיג'י" בעלי תרבות עתיקה שהיו נוהגים לצאת למסע ציד של סרואים ודובים בחורף. לאורך האזורים ההררים של יפן הסרו היה בעל ערך חשוב מאוד לכפריים, וכל חלקי גופו היו מנוצלים למטרות כלשהם. בשרו של הסרו היה יקר וחשוב במיוחד, ובאמצע המאה ה-20 הוא היה מקור המזון העיקרי באזורים ההררים, עד כדי כך שהמילה "בשר" התייחסה לבשרו של הסרו. העור העמיד שלו שימש כחומר ליצירת בגדים או לפרישה מעל קורות האוהלים אצל ציידי ה"מאטאיג'י". קרניו שימשו כאמצעי מניעה נגד מחלות כמו בריברי, ומהמעי הדק וכיס המרה שלו נעשתה תרופה לכאבי בטן.
בשימור.
לאחר עשרות שנים של ציד, אוכלוסיית הסרו היפני החלה להידלדל בצורה דרסטית והוא נכחד לגמרי מאזור צ'וגוקו במערב הונשו עד אמצע המאה ה-20. האוכלוסייה הגיע למצב כל כך גרוע, עד שהממשלה היפנית הכריזה עליו בתור מין שנאסר לציד לחלוטין בחוק הציד שיצא בשנת 1925.
בשנת 1934 הסרו היפני קיבל מעמד של "מונומנט טבעי" ובשנת 1955 מעמדו שודרג ל"מונומטום טבעי מיוחד". אוכלוסיות הסרו החלו להתאושש בהדרגה בזכות האכיפה החזקה של המשטרה היפנית, הקמפיין המוצלח נגד הציד הלא חוקי - כמו גם על ידי מטעי עצי מחט של המקומיים שניטעו לאחר מלחמת העולם השנייה והרחיבו את טווח התפוצה שלהם; עד שנת 1955 המספרים היו בסביבות 30,000-20,000 פרטים.
ההצלחה של מיגור הציד הלא חוקי המשיכו לתת את אותותיהם באוכלוסיית הסרו, ועד שנת 1980 אומדני האוכלוסייה הגיעו לסביבות 100,000-70,000 פרטים על פני טווח של 40,000 קילומטרים רבועים. עד שנת 2003, טווח התפוצה שלו התרחב ביותר מ-170% מהטווח הקודם והאוכלוסייה התייצבה לגמרי.
בתור מזיק.
כבר לאחר המלחמה העולמית כשהסרו נאסר לחלוטין לציד, היערנים היפנים העלו חששות שאוכלוסיות הסרו עלולות להפריע למאמצי נטיעת יערות ברוש יפני, ארז יפני ואורן אדום יפני לצורך מסחר בעצים, בתור מינים הניזונים משתילים ומענפים הצעירים של עצים. החששות התבררו כמוצדקים, וככל שאוכלוסיית הסרו גדלה כן עלה שיעור הנזק שנגרם על ידם לפלורה היפנית. מלבד זאת הסרו היפני גרם לנזקים רציניים לגידולים חקלאיים בכפרים ההרריים, והכפריים התנגדו למאמצי השימור של הסרו. הבעיה החריפה ככל שעבר הזמן, והתגובות הלא מחמיאות לנזקי הסרו ברחבי יפן עלו בהתאם; התקשורת היפנית למשל, התייחסה לנזקים של איילי הסיקה והסרו כ"מלחמת האדם והאייל" וכ"מלחמת הסרו".
התסכול מחוסר התייחסות של הממשלה וארגוני השימור הובילה כ-400 יערנים להשיק תביעה נגד המדינה על נזקי הסרו למטעי העצים בשנת 1980. היערנים במחוז גיפה פעלו בקיצוניות יותר וביצעו ירי חי לרגליהם של הסרואים בתואנה שירי כזה אינו קטלני בשבילם. היערנים דרשו הקלות בציד הסרו ולהכיר בו כחיה מזיקה, בעוד שהממשלה וארגוני השימור האשימו את היערנים בכך שהם מנפחים את מספרי האוכלוסייה ורמות הנזק שלהם כדי לקדם את האינטרסים שלהם.
מומחי שימור האמינו כי העלייה בנזקים לגידולים לא נבעה דווקא מגידול באוכלוסייה, אלא בגלל כריתת יערות באזורים מסוימים שגרמו לסרו היפני להידחק מבית גידולו; ברגע שהסרו החל לאכלס אזורים הסמוכים לכפרים הוא נחשף לגידולים בחוות ולמטעי העצים מה שגרם לו לבקר באופן קבוע באזורים החקלאיים בשל המזון הזמין. ייתכן שגם כריתת היערות תרמה בעקיפין לגידול האוכלוסייה: קרקעית היער שנחשפה לשמש החלה להצמיח אזורים עשבוניים, ומכיוון שהללו מהווים את המזון האידיאלי לפרסתנים הם גרמו לעליות במספרי הסרו.
עם זאת נזקי הסרו אינם נמשכים לאורך זמן. לאחר צמיחה מחודשת של עצים שמובילה תוך 15–20 שנה ליצירת חופת יער סגורה, הקרקע מפסיקה להצמיח עשב ולפרסתנים אין גישה לשתילים והענפים; כתוצאה מכך מינים כדוגמת הסרו נאלצים לנדוד לאזורים גבוהים. בשנת 1990 לאחר שמספר המטעים הצעירים ירד ומרבית המטעים הגיעו לגובה משמעותי, נזקי הסרו ירדו בהדרגה לרמות סבירות בשילוב עם הציד החוקי. מאז תשומת הלב העיקרית ביפן הופנתה לנזק שגורמים אייל הסיקה, חזיר בר ומקוק יפני, והסרו איבד עם הזמן את הדימוי השלילי שלו כמזיק. באזור קיושו, התפוצצות אוכלוסין של איילי הסיקה העלתה את רמות החפיפה של האייל והסרו, והאוכלוסיות של הסרו עשויות לגדול בהאטה בשל התחרות על מקורות המזון עם האייל.
בחוק.
בעקבות הסכסוך המתמשך בין היערנים והממשלה, בסופו של דבר הממשלה הורתה ב-1978 על ביטול ההגנה המלאה על הסרו. תחת זאת הממשלה היפנית הקימה 13 אזורי שימור לסרו שבהם הציד נאסר לחלוטין, בעוד שבשאר האזורים הותר לצודו באופן נרחב תחת פיקוח. בשנת 1979, משרד החקלאות, היערנות והדיג היפני יחד עם משרד הסביבה היפני ומשרד התרבות היפני הגיעו להסכמה על ניהול משותף של אוכלוסיות הסרו. באזורים מסוימים מחוץ ל-13 אזורי השימור, ננקטו על פי החלטות המשרדים הקמת אזורי הגנה זמניים לאוכלוסיות בירידה או לחלופין דילול מזיקים כסרו באזורים עם אוכלוסייה גדולה במיוחד חרף מחאות של ביולוגים וארגונים לשימור הטבע. בין 1978 ל-2005 למשל, ניצודו סך הכול ביפן כ-20,000 סרואים מחוץ לאזורי השימור.
בשנת 1999, הניהול של חוקי הציד והגנת הטבע של חיות הבר הועבר לסמכות המחוזות כדי לאפשר ניהול טוב יותר. בשנת 2007 הוקמו כ-7 תוכניות שונות לניהול אוכלוסיות הסרו מחוץ לאזורי השימור באזורים מסוימים, ובכל מקום התוכנית השתנתה בהתאם לכמות האוכלוסייה, שיעור הגידול והנזק שלה.
בתרבות היפנית.
היותו של הסרו היפני מין ייחודי ואנדמי גרמה לו כאמור לקבל מעמד סמלי ביפן של "מונומנטום טבעי" - מונח המתאר ערכי טבע ייחודים (כדוגמת הר פוג'י) שיש ערך לאומי בשמירתם; כמו כן מכיוון שמרבית מיני הסרואים מצויים ביבשת אסיה הוא נתפס גם כשריד ממנה בטרם הופרד הארכיפלג היפני מהיבשת. בשנת 1973 בעת כינון היחסים הדיפלומטים בין יפן לסין על ידי ממשלתו של קקואיי טנאקה, הממשלה הסינית העניקה ליפן פנדה ענקית במחווה סמלית, בעוד שהממשלה היפנית העניקה לסין בתמורה זוג סרואים יפנים; אותם סרואים התרבו היטב בגן החיות בביג'ינג' והוקמה שם אף אוכלוסייה שבויה קטנה. עיירות וכפרים ברחבי יפן אימצו את הסרו היפני כסימלם.
ביפן, ישנו רושם עממי מוטעה כאילו הסרו הוא מין של אייל ולעיתים אפילו חזיר בר, אף על פי שהללו אינם נמצאים כלל באותה משפחה. בלבול זה מתבטא בשם הרשמי הנוסף ביפן "קאמושיקה", שנלקח במקור מהמילה "שיקה" שמשמעותה "אייל" (זהו גם מקור השם של אייל סיקה).
מבחינה היסטורית לסרו ניתנו מגוון שמות, כשחלק מהם מבוססים לעיתים קרובות על המראה או המאפיינים שלו. בין השמות בעבר ניתן למנות "כבש הרים", "אייל צמרי" ואפילו "ברווז" שמתייחסים לפרווה שלו, כמו גם "קוראשישי", "פרת תשעה-רגליים" או "פרת-שדים" המצביע על הדמיון שלו כביכול לשד המיתולוגי היפני - "אוני אושי" שמתואר כעכביש-שור החי בהרים המיוערים.
ציידי ה"מאטיג'י" היפנים מכנים אותו "הכחול", מכיוון שהוא נראה לעיתים קרובות במרומי הצוקים סמוך לשמים הכחולים. באזורים רבים יש לסרו כינויי גנאי כמו "חיית הריקודים" (מתייחס לקפיצות על הסלעים), "חיה מטופשת" או "האדיוט". היפניים לעיתים קרובות מתארים את הסרו כבעל חיים "מוזר" או "לא נורמלי", בשל ההליכה הזהירה שלו והנוהג שלו לבהות בבני אדם. הוא מתואר גם כ"חיית רפאים" מכיוון שיש לו נטייה לחיות בבדידות במעמקי היערות, והוא נוהג לצפות על מטיילים ויערנים מאזורים גבוהים ובטוחים בהרים.