V 15. a 16. století byl poškozen během politických konfliktů a také např. dánskými piráty. Poslední velký boj o hrad se tu odehrál v roce 1599. Trvale byl obydlen Hrad Kastelholm až do roku 1634, kdy byl správou Aland pověřen guvernér. V té době ztratil svůj význam a pomalu chátral. V roce 1745 ho zasáhl požár, který zničil velkou část hradu. Od té doby z něho zůstaly jen ruiny. Pouze část objektu byla využívána jako sýpka a to až do roku 1930. V té době tu vzniklo první muzeum (Alandské kulturně-historické muzeum) . Od té doby do současnosti byl Hrad Kastelholm částečně obnoven. Dnes je to oblíbený cíl turistů..
Turistické informace
Jednalo se o majetek panovníka?:
Editovat Hrad Kastelholm: Turistický průvodce - tipy na výlety, turistika, nejlepší restaurace