卡隆堡宫历史上曾两度被毁：第一次是在1623年，整个宫殿及宫内陈设全被焚为灰烬，唯一幸存的是宫内的教堂。直到1637年才被修复，宫内的结构有所改变，使之具有巴罗克建筑风格，宫外的屋顶由原来的圆形螺旋塔改为现在有尖塔顶。第二次“北欧战争”期间，瑞典人于1658－1660年占领卡隆堡宫，将宫内物品洗劫一空。
现在宫内的陈设全是根据当时情况复制的。到菲特烈四世国王（1699－1730）时，加强了克隆堡宫周围的防御工事，宫殿也不断得到修复。从1785年到1922年，卡隆堡宫曾被用作兵营。宫堡外围的火炮已有二、三百年的历史。
宫内现收藏了大量古代挂毯和油画。卡隆堡宫还有一个“地下工事”设施。当时，从国王的卧室到地下工事有一条秘密暗道。遇有战事，情况吃紧时，国王可以直接从卧室通过暗道来到地下工事，并由此遁逃它处。在地下工事里有一座石雕像，名叫“丹麦人霍尔格”(holger danske)。他身穿戎装，抚剑坐睡。相传他是海盗时期的一名勇士，曾为丹麦立下丰功伟绩。后因丹麦无战事，抚剑而睡。他之所以坐睡，是处于警戒状态，一旦丹麦遭人入侵，他即起身执剑卫国。整个地下工事可容纳数以千计的士兵。战争时期，士兵在工事内既可训练，又可储兵，并有箭垛，抵御外敌。工事内设有贮存腌鱼咸肉的池子，供士兵食用。在工事一隅有个三角形的死牢。死牢阴暗潮湿，专囚政治犯，多少年来被囚禁在死牢中的人，除一瑞典牧师外，无一人活着出来。
在卡隆堡宫外院的墙上，有一块莎士比亚的纪念浮雕像。相传，当年莎士比亚就是以这个城堡为背景写下了著名悲剧“哈姆雷特”，故卡隆堡宫又称为
哈姆雷特城堡。
