Město se nachází na pomezí Českého středohoří a Lužických hor, v údolí říčky Kamenice. Historické jádro města bylo prohlášeno za Městskou památkovou zónu v roce 1992, dnes se v ní nachází bezmála 40 objektů, které byly prohlášeny kulturní památkou. Přirozený střed památkové zóny tvoří tvoří náměstí Míru s renesanční devítibokou kašnou a barokní sochou Panny Marie Immaculaty.
Dominantou města je chrám sv. Jakuba Většího, založený ve 14. století, později renesančně přestavěný. Nejstarší dochovanou částí je zbytek západního portálu, který pochází patrně z posledního desetiletí 14. století. Portál je narušen výstupem na věž, který byl připojen až ve století 17. Na starých základech byl postaven kostel nový, jehož podoba se počala měnit v polovině 16.století při 1.goticko-renesanční přestavbě. Další přestavba byla realizována v letech 1604 až 1605 a kostel byl při ní podstatně rozšířen. Ze staršího kostela byla zachována věž a západní stěna lodi. V pozdějších obdobích byl kostel upravován a doplňován již jen dílčím způsobem.
Poutní kaple Narození Panny Marie je pozoruhodná, vrcholně barokní centrální stavba, vzniklá vedle starého městského hřbitova z 1.poloviny 17. století. Původ poutního místa je opředen bohatými pověstmi a zázračnými skutky Matky Boží.
Za zmínku stojí ještě zámek, který byl postaven v letech 1541–1543. Z původních hradeb a bran se dochovala jižní Zámecká brána. Jižní křídlo je ve stylu renesance, severní křídlo naopak ve slohu barokním.
V severní části města se nachází barokní kostel Narození Panny Marie se sochařskou výzdobou z dílny Ferdinanda Maxmiliána Brokofa a freskami od Ferdinanda Brunettiho. K dalším zajímavým stavbám patří zámek a barokní osmiboká kašna na náměstí. Jihovýchodně od města se na Zámeckém vrchu nachází zřícenina Kamenického hradu. Zdejší kulturní památky často propůjčují svůj důstojný interiér ke konání kulturních akcí (Letní hudební slavnosti Antonína Dvořáka v kostele sv. Jakuba Staršího, koncerty pěveckých spolků v Poutní kapli Narození Panny Marie a Evangelickém kostele).
