Az egyik közeli hegy csúcsán, ma már romjaiban is alig látható, 13. században épült várát, először 1265-ben említik. Első ismert birtokosai a Ják nemzetség tagjai. 1404-ben Zsigmond vette el az őket követelő Németújváriak örököseitől, és Garai Miklósnak adományozta. 1445-ben III. Frigyes foglalta el, hosszú időre osztrák zálogbirtok lett. 1478-ban Mátyás visszafoglalta, de az ostrom során olyan károkat szenvedett, hogy nem építették újra.
Ezután a város vette át a vár birtokkközpont szerepét. A középkorban két részből állt, amelyeket Ungarmarktnak és Deutschmarktnak neveztek. A 16. században Batthyány Ferenc szerezte meg. A település a 15. század végén vásártartási jogot és mezővárosi címet kapott. Az eredetileg a 17. század elején épített kastélyt, a Bethlen-hadjárat idején osztrák zsoldosok elpusztították, újjá kellett építeni. A nagy méretű barokk épületet 1945-ben rombolták le. A városban töltötte életének utolsó éveit a 18. század neves költője, Faludi Ferenc (1704-1779), akinek utca és a község melletti egyik völgy viseli nevét.
A Szent Katalin plébániatemlomot 1679-ben Batthyány Kristóf építtette. 1727-ben barokk stílusban átépítették. A templom előtti, 1700 körül emelt Mária-oszlopon Piéta-jelenet látható. Az 1783-ban klasszicista stílusban épített evangélikus templomot 1867-ben neogót toronnyal bővítették. A maga nemében ma már egyedülálló háromemeletes barokk magtár (Granárium) a 17. század végén készült. A település határához tartozik a hegység és Dunántúl legmagasabb csúcsa, az Írottkő (Geschriebenstein). A tetőn álló sziklán írásjelek láthatók, erről kapta nevét a hegy.
A Batthyány-, az Esterházy-birtok és Kőszeg város határai itt találkoztak. A hegy korábbi neve Szálkő volt, amelyet a 17. századtól használtak. A legújabb kutatások szerint a 14. században Fenyőhegyként volt ismert. 1891-ben fából ácsolt kilátót építettek ide. Helyére kőből emeltek újat 1913-ban. 1945 után csak osztrák oldalról lehetett megközelíteni. Ma újra látogatható mindkét országból.