Nagyvázsony a honfoglalást követően a Vázsony nemzetség birtokában volt, a kőkorszak óta lakott, római hadiutak kereszteződésében álló helység. A várat azonban nem ők, hanem a Vezsenyi család építtette, a XIV. századtól kezdve. Mivel a család a XV. század második felében kihalt, birokuk a királyra, történetesen éppen Mátyás királyra szállt, aki a várat és az uradalmat a csehek ellen bátran és eredményesen harcoló Kinizsi Pálnak adományozta.