Заключване на Оссе, около което е израснал сегашният град е построен в края на XVI век и е оцелял през всичките традиционни за старите японски сгради природни бедствия и организирани средновековния човек проблеми – набези, пожари и земетресения. Но е бил разрушен до основи през XX век – по време на атомна бомбардировките през август 1945 година. От сградата са останали само с каменна основа и фрагменти от стени, в момента там е инсталирана плака в памет на която се случи на ядрената катастрофа. През 1958 г. замъкът е възстановен от стоманобетон. На работа са се водили в това число и на дарени от жители на град средства – така е било възстановено синтоистское светилище Гококу jinja, което влиза в замъка комплекс.

Сега сграда на замъка е разположен музей, в който е представена историята на самата крепост, също действат изложби, посветени на японската култура. Една от ценностите на музея е и колекция от мечове, датиращи от XVIII столетием. В най-горното ниво на замъка се намира наблюдателната площадка, от която се откриват гледки в Града и на острова Миядзима.

Строителството на замъка в тази местност е започнало през 1589 г. по заповед на феодала Мори Тэрумото, който управлява в девет японски провинции. Място, избрано от тях, за изграждане на замък и е център управлявани им земи. Замъкът беше решено да се издигне на един от островите в делтата на река Ота. Преди появата на замъка в тези земи не е имало големи населеното място, в местността, наречена Гокамурой (в превод "пет села"). С появата на замъка земята около него започна бъдат изградени и населена, като този процес се проведе спонтанно и хаотично, без всякакво планиране. След това призамковый град започва да се нарича Хирошима – от името на замъка. Според една от версиите, името формират като производно от фрагменти имена на двама души – родоначальника клана Мори и помощник дайме. Според втората версия, името на замъка е получил от място в делтата на Оты. Тя се превежда от японски като "широк остров". Замъкът също е известен под името "Замъкът на шарани", тъй като местност, до реката, наречена "залива на шарани".

През 1600 г., след битката при Сэкигахара Мори Тэрумото загуби почти всичко владенията си и напуска замъка. Нов господар стана Фукушима Масанори, дайме провинции Аки и Бинго, които впоследствие са се образували префектура Хирошима. През 1617 година го прехвърлят в друг район, а замъкът е преминал във владение на клана Асано в два и половина века. През това време в замъка се заменя с 12 собственици.

През 1894 г. по време на японско-китайската война в замъка базировался на Генералния щаб на Въоръжените сили на Япония. От 1931 г. замъкът притежава статут на национално съкровище.