בין התומכים הנלהבים בהקמתו היה מרק שאגאל, שתרם את יצירתו ''בדידות'' למוזיאון המתהווה. מוזיאון תל אביב הפך עד מהרה למרכז התרבות של העיר והציג אמנים ישראלים ובינלאומיים. במהלך השנים הראשונות נתרמו למוזיאון אוספי אמנות בעלי ערך רב, כגון אוסף ארכיפנקו, הייחודי בעולם, אשר נשלח לישראל על ידי בעליו, אריך גריץ, ערב פרוץ מלחמת העולם השנייה, כדי להצילו מידי הנאצים, וכן אוסף משה ושרה מאייר הכולל יצירות מהתקופה האימפרסיוניסטית, ובהן יצירות של דגה, רנואר, מונה ופיסארו.

ביתו של ראש העיר היה צר מלהכיל את היצירות הרבות, ובשנת 1959 תרמה גברת הלנה רובינשטיין את הביתן הנושא את שמה, שאליו העתיק המוזיאון את משכנו. כיום משמש הביתן כחלל תצוגה לאמנות צעירה. ב-1971 הושלמה הקמת משכנו הנוכחי של המוזיאון, אשר נחנך בקונצרט חגיגי בניצוחו של ליאונרד ברנשטיין ובנוכחות ראש הממשלה דאז גולדה מאיר, שרים ואישי ציבור.

לאחר הקמתו מוזיאון תל אביב לאמנות הכיל ארבעה אולמות תצוגה רחבי ידיים, שני אולמות קונצרטים, וכן ספריית אמנות – הגדולה מסוגה בגוש דן. במרוצת הזמן נוספו גלריות שיוחדו לאמנות אירופית מהמאות השש-עשרה עד התשע-עשרה, גלריה לפיסול, גן פסלים, וכן התווסף האגף על שם גבריאלה ריץ', הכולל שני אולמות תצוגה גדולים ושתי קומות מחסנים לאכסון יצירות בשיטות מתקדמות ביותר. כמו כן, התעשר המוזיאון באוספים חשובים של אמנות בינלאומית, ובהם אוסף מיזנה-בלומנטל של גדולי האמנים במאה העשרים, הכולל בין השאר יצירות של קלימט וקנדינסקי; אוסף פגי גוגנהיים ובו יצירות של ג'קסון פולוק; וכן אוסף הלן וזיגפריד וולך לפיסול מודרני, הכולל יצירות של ז'אן ארפ, פיקאסו ,ליפשיץ ועוד.

לצד האוספים הקבועים מציג המוזיאון מדי שנה כ-25 תערוכות מתחלפות של אמנות ישראלית ובינלאומית בתחומים שונים: ציור, פיסול, רישום והדפס, צילום ווידאו, עיצוב ואדריכלות. כל תערוכה מלווה בשיח גלריה בהנחיית מדריכות מקצועיות מצוות המוזיאון.

מראשית דרכו רואה עצמו המוזיאון כגורם מרכזי בחינוך לאמנות. בשנת 1988 העמידה עיריית תל אביב לרשות המוזיאון מבנה סמוך של בית ספר, אשר הפך למרכז מאירהוף. כאלפיים תלמידים – ילדים, בני נוער ומבוגרים – משתתפים במגוון רחב של סדנאות במרכז זה, בהנחייתם של אמנים מתחומים שונים.

במהלך כל שנותיו שימש מוזיאון תל אביב לאמנות גם כמרכז תרבותי. הקונצרטים הראשונים של תל אביב נערכו בין יצירות המוזיאון בבית דיזנגוף. כיום כוללת הפעילות התרבותית קונצרטים קלאסיים לצד ג'אז ומוזיקת עולם, סרטי איכות, סדרות הרצאות, הצגות לילדים ואירועים מיוחדים.