Heinrich z Bünau dal před rokem 1566 vybudovat v Krásném Březně (na místě Nového zámku) panský dům. V letech 1597–1603 dal Rudolf z Bünau postavit kostel a asi v téže době rozšířil jednotraktový dům v sousedství staršího sídla na dvoutraktový
obdélný patrový Starý zámek. Starší objekt východně od Starého zámku byl nejpozději v polovině 17. století přestavěn v duchu vrcholné renesance na patrový čtyřkřídlý Nový zámek s nárožními válcovými věžemi. Z předchůdce Nového zámku přetrvala v nynější stavbě část suterénu. Patrně v souvislosti s vrcholně barokní přestavbou Nového zámku, provedenou za Jana Ludvíka Richarda z Cavriani do roku 1724, byla zahrada rozšířena širokým korzem s geometrickou kompozicí jihovýchodním směrem (k řece). Podstatná část zahrady zanikla při budování železnice v roce 1849. Zbylá část byla po zboření hospodářského dvora s pivovarem přeměněna v anglický park (dochováno torzo). Zámecká kaple se stala farním kostelem sv. Floriána roku 1897, zámek byl v držení
posledních majitelů panství do roku 1945 (Leo Skrbensky, syn Malvíny Kolowrat-Krakowsky-Novohradsky). Od 50. let 20. století oba zámky sloužily jako výpočetní středisko Českých drah (objekty převedeny na NPÚ v roce 2003). V roce 2011 skončila rozsáhlá oprava zámku jako sídla územního odborného pracoviště Národního památkového ústavu pro Ústecký kraj.