Художествена галерия се намира в района на парк Жубер, на няколко пресечки от централната гара на Йоханесбург. Сградата е проектирана от британския архитект сър Едвин Лаченсом и се състои от 15 изложбени зали, както и няколко изложбени територии на открито за по-големите скулптури. В архивите се помещава колекция на британската и холандската живопис от XVIII-XIX век, колекция от европейска живопис на XIX век, както и голяма колекция от съвременни произведения на южна африка и чуждестранни художници.

Колекционер на Доротея Сара Флоренция Александър Филипс, съпруга на планинския магнат Лионеля Филипс, е образувала първата колекция на галерията за сметка на средства, внесени съпруга си. След като се премества в Йоханесбург тя започва да придобива картини с цел създаването на художествената галерия, която по-късно се превърна в Художествената галерия на Йоханесбург. Тя е придобила колекция от картини на британски колекционер и художник сър Хю Лейн, изложени в Лондон през 1910 година. Лейди Филипс дари своята колекция от дантела и убеди мъжа си да се предадат, за да галерии седем картини и скулптури на Роден.

Колекция на галерията включва работа Огюст Роден, Данте Габриел Росети, Пабло Пикасо, Камий Писаро, Клод Моне, Едгар Дега, Хърбърт Отделение и Хенри Мур, а също и работата на южна африка художници - Джерарда Секото, Уолтър Баттисса, Алексиса Преллера, Мод Самнера, Сидни Kumalo и други.

Картинна галерия на Йоханесбург е била отворена за обществеността през 1910 г., на територията на университета на Уитуотърсранд. Архитект, сър Едуин Лаченс, гост дама Филипс, е пристигнал в Южна Африка през 1910 г., за да проучи територия и да започнат строителството на сградата на галерията. Но строителството не е завършено по скици на архитекта. Пет години по-късно от началото на строителните работи, сградата е отворила своите врати за обществеността, без церемонии, веднага след началото на Първата световна война.

В края на 1940-те години сградата на галерията е разширена в съответствие с проекта на архитект Лаченса - построен на западното и източното крило на сградата. Северното крило на галерията с модерна фасада е построена по време на последната реконструкция на сградата в 1986-1987 година.