Армяне начали переселяться в Крым в начале XI века, спасаясь от нашествия на Армению сельджуков. Со временем на полуострове сформировалась мощная армянская диаспора. Основным местом расселения армян был юго–восточный Крым, который иногда, даже, назывался «Приморской Арменией». Армяне составляли значительную и влиятельную часть населения Каффы. Уже в документах начала XIV века упоминается армянский епископ Каффы. Позднее, наряду с армяно–грегорианской епархией, в городе была учреждена армяно–католическая униатская епархия.

В средневековой Каффе было 28 армянских церквей, находившихся в черте города, некоторые из них сохранились до наших дней. На юго–восточной окраине средневекового города – территория т.н. «карантина» — можно увидеть церкви Иоанна Богослова, Георгия, Иоанна Предтечи, 1348 года, — теперь в этом храме православная церковь Иверской Богоматери, а также церковь Стефана с остатками средневековой росписи. (Впрочем, нельзя с уверенностью сказать, кому принадлежал этот храм: армянам или грекам).

Сохранился загородный армянский монастырь св. Георгия. На территории средневекового города вблизи крепостного рва стоит армяно–католический униатский храм Архангелов Михаила и Гавриила, 1408 года постройки – (в лапидарном дворике музея экспонируется закладная плита этого храма). Также сохранилась церковь св. Сергия – жемчужина армянской средневековой культуры и архитектуры Крыма.

Эти храмы были возведены в XIV – XV веков. Они имеют общую архитектурную основу – базилику – прямоугольное помещение с полукруглым алтарным выступом – апсидой. Часто и западной стороне армянского храма пристраивался крытый притвор – гавит. Гавит сохранился в церкви св. Сергия (Сурб-Саркис), Иоанна Крестителя, Иоанна Богослова (частично).

По частным и публичноправовым актам в генуэзской Каффе было 16 католических церквей (без учета кафедральной, дворцовой, монастырских и госпитальных церквей), русская, две греческих (на ул. Красноармейской сохранилась средневековая греческая церковь Введения во Храм Пресвятой Богородицы), две синагоги, мечеть. Общее число культовых сооружении в генуэзское время достигало 50–ти.

В средние века Каффа являлся крупным многонациональным городом. Здесь проживали выходцы из Италии, греки, татары, армяне, сирийцы, евреи, русские, грузины, аланы, представители других народов. Генуэзцы составляли меньшинство – а в конце XIV – XV века. абсолютное меньшинство населения Каффы. Во второй половине XIV – XV века первое по численности место среди жителей Каффы занимали армяне.

Вопрос о численности населения города в средние века спорен. Часто говорят о 70 тыс. жителей средневековой Каффы (в XV веке). Но эта цифра принадлежит несостоявшемуся каффскому консулу Джакомо Джустиниани. Его не основанная на реальном знакомстве с городом информация приводиться в письме от 10 июля 1475 года из Хиоса. Не вносят ясности в вопрос о числе жителей Каффы и другие источники. По мнению большинства современных исследователей (М. Балар, А. Г. Еманов, М. М. Фрейденберг) в генуэзской Каффе не могло проживать более 10 тыс. человек.

Город делился на кварталы, где проживали представители какой–либо одной этнической группы. Дома таких кварталов, обособленные от остального города, выходили фасадом на главную улицу квартала или на маленькую площадь.

Уже в XIV веке четко обозначились три основные части Каффы: цитадель с консульским замком, собственно город и предместья, располагавшиеся вне городских стен. Каффа была относительно благоустроена: в городе имелись водопровод и канализация, улицы были замощены (известняковыми плитами подлинной средневековой мостовой выложен участок лапидарного дворика музея).

Застройка Каффы велась настолько интенсивно, что ощущалась нехватка камня. Не случайно, каждый корабль, заходивший в порт, должен был везти определенное количество камня. По несколько камней должны были ввозить въезжавшие в город повозки. Любой житель Каффы мог беспрепятственно добывать камень из – под земли или в развалинах на городской территории.