Монастырь находится в толще Монастырской скалы. По мнению ученых, он был основан в XV веке одновременно с крепостью Каламита. Существует мнение, что создание монастыря связано с иконоборческим движением в Византии, т. е датировали его VIII – IX веками н.э., но некоторые археологические находки указывают на то, что он вряд ли древнее XII века. Монастырь просуществовал до 1485 года. После захвата Каламиты турками, монастырь был упразднен. Восстановили его в 1850 году по инициативе архиепископа Херсонеского и Таврического Иннокентия. Иннокентий восстановил в Крыму много средневековых монастырей, заводя в них устав по типу древнейших православных обителей, расположенных в Греции на горе Афон.
Согласно старинному преданию, первый христианский храм в инкерманских скалах вырубил сосланный сюда язычниками в конце 1 века н.э. четвертый римский папа, ученик апостола Петра святой Климент.Здесь же он явил чудо – добыл воду из скалы и спас от жажды истомившихся каторжников. Климент вел свою миссионерскую деятельность в Крыму столь успешно, что императору Траяну пришлось приказать умертвить понтифика.
В 101 году н.э., как гласит легенда, Климент был утоплен в Казачьей бухте. У находившейся под водой могилы происходили чудеса: расступалось море, и паломники подходили к нерукотворной гробнице «аки посуху», больные исцелялись, а верующие радовались и веселились.
В 861 году, как гласит другое, более достоверное придание, создатель славянской азбуки Кирилл нашел (обрел) мощи Климента. Часть их доставили в Рим, другая часть хранилась в Херсонесе. Отсюда их забрал в 988 году киевский князь Владимир. Из Киева они пропали в 1240 году после татаро-монгольского нашествия .
В настоящее время в Инкерманском Свято-Климентовском монастыре хранится частица мощей святого Климента, доставленная из Рима.
После присоединения Крыма к России монастырь был восстановлен и освящен во имя св.Климента. Во время Инкерманского сражения 1854 года обитель сильно пострадала.
Ее возрождение началось в 1867 году. Художником Д.М.Струковым были отреставрированы три средневековых храма. Их освятили во имя трех величайших святых, согласно преданию проповедовавших на крымской земле – св. апостола Андрея Первозванного, св.римского папы Климента и св. римского папы Мартина, сосланного в Херсонес и умершего там в 655 году.
Согласно легенде , храм св. Андрея Первозванного вырубил сам св. Климент.
Во второй половине XIX века у подножья скалы выросли наземные постройки монастыря - дом настоятеля, совмещенный с церковью св.Троицы, и еще одна небольшая часовня – у самого полотна железной дороги. Эта часовня, освященная во имя св. Пантелеймона, была посвящена спасению императорской семьи в железнодорожной катастрофе 17 октября 1888 года у станции Борки. Рядом с настоятельским домом была построена небольшая гостиница на 24 номера.
В 1907 году на вершине скалы – среди руин Каламиты – был построен храм св. Николая в память о событиях Крымской войны. Архитектурой и пропорциями он напоминал Владимирский собор в Херсонесе. Во время Великой Отечественной войны он был полностью разрушен.
После Октябрьской революции, в 1931 году, монастырь был закрыт, а богослужение возобновили только в 1991году.