A 19. század második felében általánossá vált a tehetősebb pécsi polgárok között, hogy a Mecsekoldalon lévő présházaik helyére kőházakat, emeletes nyaralókat építettek. Ezek többsége alpesi stílusú faszerkezetes épület volt. Néhányat még mai láthatunk a Mecsekoldal meredek utcáin. A Vasváry-villát az egyik leggazdagabb pécsi kereskedő, Vasváry György építette 1884-ben. A család címerét láthatjuk a homlokzaton. Az épület nem csupán méreteiben, de építészeti stílusát tekintve is különbözik a környezetében álló épületektől. Építtetője szakított a hagyománnyal, és az alpesi stílus helyett az itáliai reneszánsz jegyében képzelte el a nyaralót. Az épület gazdagon díszített pirogránit épületkerámiáit a pécsi Zsolnay Porcelángyárban készítették. Vasváry György rövid idő alatt jelentős berendezési tárgyakból álló gyűjteményt halmozott fel a nyaralóban. A kollekció a kor polgárságának művészi igényét és ízlését tükrözte. A kollekció legtöbb darabja a Zsolnay Porcelángyárból került ki, de jelentős arányt képviseltek a helyi vasművesség termékei is. Vasváry György 1905-ben bekövetkezett halála után a családtagok eladni kényszerültek a gyűjtemény darabjait. Az épület az 1952-es államosításig a család tulajdonában volt. Az azt követő időszakban az épületbelső rohamos pusztulásnak indult. Megmenekülését annak köszönhetjük, hogy 1969-ben a Pécsi Akadémiai Bizottság kezelésébe került. 1970-ben állagmegóvásra és szerény átépítésre, majd 1980-ban és a 90-es évek végén jelentős bővítésre került sor. A felújítás során figyeltek arra is, hogy az épület belsejében és az épület előtti gazdag Zsolnay-alkotásokat, szobrokat, vázákat megőrizzék, lehetőség szerint restaurálják. Az épület jelenleg is a Magyar Tudományos Akadémia Pécsi Bizottságának székháza.