Az 1975-ben - még Czóbel Béla festőművész életében - megnyílt múzeumnak a várdombi Plébániatemplom szomszédságában álló. a XIX. században római katolikus fiúiskolának épült, belső tereiben boltívekkel tagolt földszintes épület adott otthont.
1983-ban a hat kiállítótermet a mellette álló ház hozzácsatolásával és átalakításával még két újabb térrel bővítették.
Ebben az épületrészben nyílt meg 2010. január 26-án az Ilosvai Varga István festőművész hagyatéki anyagából rendezett válogatás, Szentendre legújabb képzőművészeti állandó kiállítása.