Сугимото-дера се счита за първия храм, който е построен в Камакуре. Годината на основаването му – 734-та. От средата на VIII век монасите започнаха да се изгради в Камакуре и други храмове, разпространявайки своето учение и превръщането на града в център на дзен-будизма. Храмът принадлежи към училище Тэндай.

Инициативата за създаване на храма приписват на Кома – съпруга на император точно така, която е наредил да се основе храма и по този начин да усмири жители разоренных източните райони на страната. Като свещеник-основател на поканиха свещеник Геки. Той избра подходящо място за изграждането на храма, който беше решено да се посвети на богинята на милосърдието Каннон. Смята се, че името на Геки така или иначе е свързано с 1200 храмове на Япония. За своите заслуги свещеник бе удостоен със званието Дайбосацу ("Велик Бодхисатва император").

Главния храм на храма е статуята на Одиннадцатиглавой Каннон, която също е създадена основател на Геки. В 851 и 985 години за храма са направени две нови статуи на богинята. Първо изрязани Эннин, съобщават основател на будистката училище Тэндай, а втората е създал свещеник Гэнсин по заповед на император Кадзан, който се установява в манастира, се отдалечава от нещата. По-рано Кадзан назначен Сугимото-дера първа точка в паломническом "маршрут" Bandow, който се проведе за 33 светите места в региона Канто. В този "маршрут" по 33 святилищам Камакуры храм Сугимото-дера е четвъртата спирка.

Три статуи на богинята Каннон не са пострадали при пожар, какво се е случило през 1189 година. Ги спаси човек на име Дзедай-Бо и се поставя в подножието на висок кедър. Този случай и е дал името на храма (Сугимото-дера се превежда като "Храмът в основата на кедър"), а също и добавя популярност сред поклонници. По-късно историята малко са се променили от премахването на спасителя, а статуи, сякаш са били спасени като по чудо. В момента в храма се съхраняват пет статуи на Каннон. Четвъртата подари Минамото-но Еритомо през 1191 г., а петият се появява през 1963 година и е била направена от най свещеник.

Храмът имаше още една легенда за статуята Каннон: че ако покрай храма карам на кон невярващ, тогава конят със сигурност сбрасывала ездач. След като в лице на първата статуя, направена Геки, прислонили будистки монашески дъждобран, падането на състезатели преди Сугимото-дера спря, а самият храм получи друго име – Гэба Каннон.

В 1337 г. в храма се е случило битка между войните Hojo и войните Асикаги, в която загинаха над 300 самурай, в памет на които е в непосредствена близост до основната зала са инсталирани горинте – погребални каменни кули.