A Múzeumigazgatóságnak 2010. szeptember 30-ig otthont adó volt szerb iskola és tanítóképző alapításának ötlete a XVIII. század második felében merült fel, és az egyemeletes, klasszicizáló késő barokk épületet 1794-ben kezdték építeni.
Múzeumok és Műemlékek Országos Központja ebben az épületben helyezte el az 1951-ben alapított, az 1889 és 1892 között családjával a városban élő Ferenczy Károly festőművész nevét felvevő városi helytörténeti múzeumot.
1960-as évek második felében határozták el az épület bővítését. A szocialista korszak kultúrpolitikai decentralizációs törekvései nyomán ekkor hozták létre a megyei múzeumigazgatóságokat, köztük 1968 szeptemberében a Pest megyei központot. Az épület bővítésének munkái 1972-ben fejeződtek be. Ezzel egy időben költözött a múzeumigazgatóság a Budapesten lévő Vármegyeházból Szentendrére.
A Ferenczy család tagjainak hagyatékából rendezendő állandó kiállítás Szentendrén történő elhelyezésének gondolata is 1968-ban merült fel. A múzeum a közel 2000 darabot számláló műtárgy-együttesből álló hagyatékot eredeti dokumentumok kíséretében 1973-ban vette át özv. Ferenczy Béninétől. 1973-ban nyílt meg az épület régi és az új szárnyát egyaránt elfoglaló első állandó kiállítás. Ekkor az intézmény neve - mivel nem csak Ferenczy Károly műveit mutatja be - Ferenczy Múzeumra változott.
Az épületet az egyházi kárpótlás keretében 2010. október 1-jén visszakapta a Szerb Ortodox Egyház, s a Ferenczy Gyűjtemény - a Szentendre képzőművészet történetét bemutató új állandó kiállítással kiegészülve - a Kossuth Lajos utcában álló gyönyörű műemléképületben, a felújított Pajor-kúriában kap új otthont.