Prvotní zprávy z nejstarších dějin hradu jsou nejisté a neumožňují spolehlivě datovat dobu jeho vzniku. Zajímavá zmínka se datuje k roku 1442 v souvislosti s padlými před novou pevností (Festung) u Kamenice, s jistotou však nelze ani zde tvrdit, že se jedná o hrad Kamenici. První nesporná zmínka o existenci hradu se děje v souvislosti s odprodejem dvora pod hradem Kryštofem z Vartemberka roku 1476. Nejen díky majetkovým zmatkům za husitských válek, ale i díky finančním obtížím svých majitelů střídá českokamenické panství často svého majitele. Hrad začal pustnout pravděpodobně již v 16.století, kdy si místní šlechta buduje modernější zámecké areály v městě pod hradem (kamenický zámek – po roce 1529, a tzv. „Salhausenský zámek“ - po roce 1515).