A ház a nevét onnan kapta, hogy itt lakott 1858-60 között Budenz József, a német származású kiváló finnugor kutató, a magyar összehasonlító nyelvészet megteremtője.
Az épület jellegzetes copf stílusú homlokzatát 1781-ben nyerte. Alapjai középkoriak, amit a tatarozás során előkerült XIII. századi kút is bizonyít. Az 1781-es végleges kialakítás előtt többször is alakították, átépítették.
Székesfehérvár e szép műemlékét a Városi Tanács áldozatkészsége állította helyre régi formájában, 1968-69-ben. A kiállítás 1969. május 19-én nyílt meg. Elrendezésében igyekeztünk megőrizni a magángyűjtemény jellegét, ahogy azt Ybl Ervin hosszú élete során kialakította.