A Budai Vigadó épületének helyén a török hódoltság idején egy, a törökök által épített nagy áruraktár, később fegyverraktár állt. A 19. század elején a katonai hatóságok budai társzekérraktára helyezkedett el itt, különféle épületek együtteseként. A kiegyezés után a honvédség kezébe került épület továbbra is katonai raktárként működött. Ezen épületek igénytelen, többször átalakított és toldott házak voltak, barokk, sőt középkori eredetű alapfalakon...
Az épületet 2007-ben felújították. Először az épület külsejét állították helyre. A rekonstrukció eredményeként a párkányokra visszakerültek az onnan eltűnt szobrok.
2011-ben az épületet a szaktárca műemlékké nyilvánította.
2017 és 2018 között a Budai Vigadó teljes körű felújításon esik át azzal a céllal, hogy a Hagyományok Háza tevékenysége, szervezeti egységei számára biztosítsák a korszerű működés feltételeit. Az átalakítás a műemlékvédelmi szempontok fokozott figyelembevételével történik.