Уход части караев в Литву в 1396-1398 г. чувствительно сказался на обороноспособности небольшого государства с ограниченными людским и экономическим потенциалом, и на рубеже XV в. Кыркъйерское княжество потеряло политическую независимость. Но произошло это не военным путем. По свидетельству караимского историографа Дауда Ага, кыъркъйерский князь Элиазар добровольно приехал в ставку Хаджи Герая в Солхат (Старый Крым) и «отдался под его высокую руку». Хан милостиво принял князя, заверил, что признает Элиазара главой караев и начальником крепости, и сообщил о намерении разместить в Кале монетный двор.

В дальнейшем в крепости подолгу пребывали Хаджи Герай, Менгли Герай и многие продолжатели династии. За защиту твердыни караи были причислены к военной аристократии — тарханам, что зафиксировано в ярлыках крымских ханов.

Караи имели самоуправление и признавались самостоятельной политической единицей. Основатель государства Хаджи Герай и все последующие Крымские ханы подтверждали своими охранными грамотами привилегии караев и права владения землями с указанием границ Кырк Йера  до Юсуфа Чокрака, Тепе Кермена и т.д.

Военный гарнизон своего родового гнезда — Кале всегда составляли крымские караимы во главе с собственным комендантом (в 1665 г. их застал турецкий путешественник Эвлия Челеби).

Среди крымских караимов были члены Ханского Дивана, советники, чиновники разного ранга (от титулов «ага» и «челеби» произошли характерные фамилии караев), казначеи.

Около ста лет (1454-1550) именно в Кале чеканились монеты крымских ханов. В дальнейшем начальниками монетного двора, где бы он ни располагался, были крымские караимы.

В крепости глава караев Исак Челеби Синан основал первую в Крыму типографию (1731).

Дети караев и крымских ханов нередко были молочными братьями, и фамилия Эмильдеш до сих пор сохранилась у крымских караимов.