זו הייתה הפעם הראשונה שהם עטו מסכות ומרחו עצמם באיפור, דבר שמאוחר יותר נהפך למאפיין בולט של ההופעות החיות של הלהקה. מכאן ואילך, פורטנר הופיע עם מסכה בכל ההופעות של הלהקה בשנתיים הראשונות שלה. לנוקס חבש קפוצ'ון של דב פנדה על ראשו (כאמור, שם הבמה שלו הוא Panda Bear) ומאוחר יותר התקשט בצבעי פנים. במהלך סיבוב ההופעות האירופאי של תחילת 2004 הוא חבש פיאה לבנה. דיב הופיע כשלפרצופו מסכה במהלך סיבוב ההופעות של האלבום "Here Comes the Indian". סיבוב ההופעות באוסטרליה בנובמבר 2006 היה הפעם האחרונה שהלהקה התקשטה במסכות.
לדברי פורטנר, הסיבה שחברי הלהקה נהגו להסוות עצמם הייתה כדי לעזור להם להיות משוחררים יותר וכדי להכניס את הקהל לאווירה שהם רצו להשרות בזמן ההופעה. מנהג זה נעצר לבסוף משום שהם חשו שהוא עלול להפוך לגימיק שיסיח את תשומת הלב מהמוזיקה. עם זאת, ווייץ עדיין מתהדר בפנס ראש בהופעות חיות, כפי שעשה מההתחלה.
"Danse Manatee-Here Comes the Indian".
לאחר שלנוקס ופורטנר הופיעו במועדונים ברחבי ניו יורק כצמד, ווייץ הצטרף בסוף שנת 2000 והחל להופיע עמם. חלק רב מהחומרים של אותן הופעות יהיה בסופו של דבר חלק מ-"Danse Manatee", האלבום שיוציא בשנת 2001 תחת השם Avey Tare, Panda Bear and Geologist. התהליך של הכנת חומרים בזמן הופעות, הקלטתם לאחר מכן וזניחה של חלקם יהפוך לסימן היכר של אנימל קולקטיב.
לחברות הקרובה עם Black Dice הייתה השפעה עמוקה וארוכה על הלהקה. בקיץ 2001, Black Dice לקחו אותם לסיבוב הופעות שתועד דרך אלבום הלייב "Hollinndagain" משנת 2002. האלבום שוחרר דרך St. Ives, מעין סניף "בוטיק" שמנוהל על ידי חברת התקליטים Secretly Canadian ונוהג להוציא מהדורות תקליטי ויניל מוגבלות בלבד. "Hollinndagain", מוגבל ל-300 עותקים כאשר כל אחד מהם מציג עטיפה ייחודית מעשה עבודת יד, הוא אחד מפריטי האספנים הנדירים ביותר של אנימל קולקטיב. הוא שוחרר מחדש, כ-CD וכתקליט ויניל, ב-31 באוקטובר 2006 דרך Paw Tracks.
בנקודה הזו, דיב החל להופיע עם הקבוצה. האלבום הבא שעתיד היה לצאת ללהקה היה "Campfire Songs". הקונספט של האלבום וחלק מהחומרים שבו היו חלק מתקופת ההופעות בניו יורק של פורטנר ושל לנוקס. האלבום מורכב מחמישה שירים שהוקלטו בלייב וברצף ב-2001 במרפסת המקורה של דודתו של פורטנר במונקטון שבמרילנד. בניסיונם ליצור אלבום חמים ומזמין כמדורה (באנגלית: campfire), החברים הקליטו עצמם מנגנים כאשר אחד מהמיקרופונים ממוקם בחוץ כדי לקלוט את רעשי הסביבה. הקלטות שנעשו בשטח הפתוח שבקרבת הבית התווספו גם כן. האלבום המקורי כבר אינו מיוצר, אך Paw Tracks הוציאו אותו מחדש ב-26 בינואר 2010.
לאחר סשן הקלטות זה הם החלו לעבוד על חומרים חדשים ששוחררו לאחר מכן ב-"Here Comes the Indian", וניצבו בפני בעיות קשות בתוך הקבוצה. בתחילת 2002 הם יצאו לסיבוב ההופעות הגדול הראשון שלהם שלקח אותם לדרום ארצות הברית; סיבוב הופעות שלדברי פורטנר התגלה כחוויה מטלטלת למדי. מיד לפני סיבוב ההופעות הבא שלהם בקיץ, ווייץ קיבל הודעה על כך שהתקבל ללימודי תואר שני באריזונה למסלול לימודים שחשק בו. לאחר שלושה ימים כאוטיים בדרכים שבהן הוואן של הלהקה שבק חיים, הציוד החל להינזק והכסף החל להיגמר, סיבוב ההופעות עמד על סף ביטול. ווייץ מתאר שבאותו הרגע היה ברור לכל החברים כי הם יסיימו את סיבוב ההופעות, יכנסו לאולפן כדי להקליט את השירים ואז יזדקקו לחופש זה מזה. כאשר הם הגיעו לסן פרנסיסקו, הוא החליט לבסוף לבחור בלימודיו ועזב את הלהקה לשנה אחת.
ב-2002, אנימל קולקטיב היו מושא לשמצה על הופעתם באלבום "Invoke" של Arto Lindsay.
משום שהקבוצה חששה ש-Avey Tare, Panda Bear, Deakin and Geologist יהיה שם ארוך מדי, ומשום שחברות התקליטים המליצו ששם אחיד יותר הוא הכרחי להצלחה בשוק, החליטו החברים לאמץ את שמם הנוכחי. הם השתמשו בשמה של חברת התקליטים הקודמת שלהם Animal כהשראה לשם שנבחר ״Animal Collective״. ההרכב הזה יועד להיות שונה מזה של להקה טיפוסית; הרכב שיעניק לחבריו את החופש לעבוד כזוג, כשלישייה או כרביעייה, כפי שיוכתב על ידי הפרויקט הרלוונטי או על ידי מצב רוחם. ההוצאה הראשונה שלהם תחת השם הזה הייתה "Here Comes the Indian", ששוחרר בשנת 2003 על ידי חברת התקליטים החדשה שלהם, Paw Tracks, שנוצרה ביחד עם Todd Hyman מ-Carpark Records. אנימל קולקטיב מחליטים אילו חומרים ישוחררו דרך Paw Tracks, בעוד היימן מנהל את העסקים השוטפים. הקבוצה שמחה למצוא את היימן, אדם בעל ניסיון בניהול עסק שכזה שבנוסף היה מסור למוזיקה של הלהקה. מש-Paw Tracks נוצרה, Animal פחות או יותר נזנחה. "Here Comes the Indian" היה האלבום הראשון שבו כל ארבעת החברים באנימל קולקטיב השתתפו. המוזיקה של האלבום, טקסטורות סאונד עמוסות ונגינה אנרגטית, הרחיבה את החשיפה של הלהקה באופן משמעותי.
לאחר ששתי ההוצאות בשנת 2003 משכו תשומת לב רבה, Black Dice ערכו היכרות בין הקבוצה לבין Fat Cat Records; היכרות שהסתיימה כשהלהקה פותחת במערכת יחסים עם מעריציה החדשים ב-Fat Cat. ההוצאה הראשונה של אנימל קולקטיב תחת חברה זו היה אלבום כפול שכלל את "Spirit" ואת "Danse Manatee", שקודם לכן היו זמינים ומוכרים רק באזור ניו יורק.
"Sung Tongs-Strawberry Jam".
אחרי שכבות הסאונד העמוסות של "Here Comes The Indian", פורטנר ולנוקס מחליטים להתרכז ביצירת חומרים בסיסיים ומופשטים יותר. כל אחד מהם החל לכתוב ולהלחין והם הופיעו כצמד, לרוב רק עם גיטרות אקוסטיות, תוף בודד, כמה אפקטים וקולותיהם. הצמד הופיע בעולם רוב השנה עם החומרים החדשים, כשהוא משמש מופע חימום בין היתר ללהקה האיסלנדית múm ול-Four Tet, עד שהשניים חזרו ל-Lamar, קולורדו כדי להקליט את השירים עם Rusty Santos, מוזיקאי ניו יורקי וחבר. התוצאה הייתה "Sung Tongs" ששוחרר תחת Fat Cat Records ב-2004. "Sung Tongs" זכה לתשבחות מהמבקרים עבור ההרמוניות שבו, טקסטורות הסאונד האקזוטיות, המלודיות הקליטות וטבעו המשוחרר.
באותו הזמן, בריאן ווייץ חזר מאריזונה והוא וג'וש דיב חברו לצמד חבריהם שוב. כל הארבעה החלו לכתוב שירים חדשים ביחד שבסופו של דבר הופיעו בהוצאה שלהם מ-2005 "Feels". אנימל קולקטיב, בתור הצמד Panda Bear &amp; Deakin (הידוע גם בשם Noah's Ark), הופיעו ביפן בפעם הראשונה בפברואר 2004 עם Greg Davis &amp; Ogurusu Norihide, אומנים המוחתמים ב-Carpark Records. בזמן סיבוב ההופעות שלהם באירופה, Kieran Hebden (הידוע בשם הבמה Four Tet) הכיר את החברים ל-Vashti Bunyan באדינבורו, סקוטלנד. בהיותם מעריצים של אלבום הקאלט הפולקי של הזמרת משנת 1970, "Just Another Diamond Day", הקבוצה סעדה לארוחת ערב עם Bunyan וביקשו לשתף עמה פעולה במספר הקלטות. הקבוצה עודדה אותה לשיר בשלושה שירים שנותרו עוד מתקופת "Sung Tong"s"." השירים שוחררו ב-"Prospect Hummer EP" בתחילת 2005. ווייץ, שהתחיל לעבוד במשרה מסודרת בתחילת 2004, לא יכול היה להצטרף לסיבוב הופעות זה ולכן פספס את סשן ההקלטות עם Bunyan, אך הוא תרם שיר אינסטרומנטלי אחד ל-EP. ההוצאה הזו ב-2005 הובילה את Fat Cat Records להחתים את Vashti Bunyan, שסוף סוף כתבה, הקליטה ושחררה אלבום שני, ובכך סיימה פסק זמן יצירתי של 30 שנה.
באוקטובר 2005, אנימל קולקטיב הוציאו לאור את אלבום האולפן השישי שלהם "Feels", שהוקלט בסיאטל עם Scott Colburn, חבר הלהקה Climax Golden Twins הידוע בעבודתו עם ההרכב Sun City Girls. לאחר "Feels", אנימל קולקטיב תכננו את סיבוב ההופעות המקיף ביותר שלה שנמשך לתוך סתיו 2006 וכלל ביקורים באוסטרליה ובניו זילנד בפעם הראשונה, לצד השתתפות בפסטיבלים באירופה, והופעות בצפון אמריקה.
הם הוציאו מספר שירים חדשים במהלך סיבוב הופעות זה של 2005–2006: ״Reverend Green״, ״Fireworks״, ״Chores״, ״#1״, ״Safer״, ״Peace Bone״, ״Cuckoo״ ו-״Street Flash״. בקיץ 2006, אביו של דיב נפטר, אירוע שהוביל לביטולו של מופע לאחר שני שירים בלבד בפסטיבל Rock Herk ב-15 ביולי.
בשלהי סתיו 2006, אנימל קולקטיב שחררו את "People" באוסטרליה כתקליט ״7 ובעולם כתקליט ״12 בתחילת 2007. ההוצאה כללה שלושה שירים ״People״, ״Tikwid״ ו-״My Favorite Colors״, כמו גם גרסת לייב ל-״People״.
בינואר 2007, חברת התקליטים Domino Recordings Company הכריזה שהיא תוציא לאור את האלבום החדש, אז עוד חסר השם, של אנימל קולקטיב. במהלך ההקלטות בתחילת 2007 ג'וש דיב הכריז שהוא לוקח פסק זמן עד הסתיו מהשתתפות בהופעות חיות בגלל סיבות אישיות שונות. אנימל קולקטיב הופיעו כשלישייה מאותו רגע ועד סוף 2009, כאשר Deakin חזר להופיע עמם ב-2011.
ב-4 ביולי 2007, "Strawberry Jam" הודלף לרשת. האלבום יצא בארצות הברית ב-11 בספטמבר 2007 וזכה לתשבחות מיידיות, בחלקו בגלל התמקדות רבה בשירה. האלבום הוכרז כאלבום השנה של פיצ'פורק ושל Tiny Mix Tapes.
ב-27 באפריל 2007, פורטנר, תחת השם Avey Tare, הוציא את האלבום "Pullhair Rubeye" עם אשתו Kría Brekkan, חברה לשעבר בהרכב האיסלנדי múm.
"Merriweather Post Pavilion".
הלהקה הופיעה רבות לאורך שנת 2007 כשהיא משלימה מספר סיבובי הופעות באמריקה ובאירופה. מתחילת מאי 2007 הלהקה הציגה מספר שירי לייב מהתקופה שלאחר "Strawberry Jam". ב-5 באוקטובר 2007, הלהקה, בהרכבה המלא (בניגוד להופעות של 2007 ושל 2008 אז הופיעו כשלישייה), הופיעה בבכורה טלוויזיונית בתוכנית הלילה של Conan O'Brien כשהם מבצעים את שירם ״#1״ כדי לקדם את "Strawberry Jam".