Заключване Кастельхольм първи път се споменава в хрониките през 1388 г. като "Къща Кастельхольм". Точната дата на основаването на замъка, обаче, е неизвестен. От края на XV век, замъкът е бил административен център на архипелага и играе важна стратегическа роля, а също така е охотничьим заключване на шведската кралица.

В сегашния си вид на замък е сложен архитектурен комплекс, е построена и расширявшийся в периода от края на XIV до средата на XVII век В 1745 г. в замъка настъпили унищожителен пожар. Само през ХХ век тя е отреставрировали и са отворени за посещение.

Близо до замъка са отворени два музея. Един – Музей на Държавна затвора Вита-Бьорн, намиращ се в старата сграда на затвора. Втоой – Музей под открито небе, Яна Карлсгордена, където може да се види на повече от двадесет традиционните Аландските къщи и мелници на XIX век. В стара кръчмата двора на посетителите са обработени национални ястия.