Выпавшие на долю Феодосии бедствия не могли не сказаться на судьбе ее градоначальника. Недоброжелателей у него и до того хватало, теперь их число только возросло. Во время эпидемии городской порт не закрывался, но торговля сдерживалась карантинными мерами. Это вызывало недовольство купцов; контрабанда, взяточничество стали делом обычным.
Карантин, холода, общая обстановка военного времени в стране вызвали нехватку продуктов питания, дров, угля, что оказалось на руку корыстолюбцам, взвинтившим цены на самое необходимое. Броневский по долгу службы и чести вынужден был вести бескомпромиссную борьбу со спекулянтами и нарушителями законов, среди которых были не только торговцы, но и представители власти [36].
По данным А. Маркевича, в некоторых уездах, включая Феодосийский, часть денег, собранных с населения во время Отечественной войны, не попала в центр, но осталась на руках у местных должностных лиц [37]. Понятно, дело не обходилось без следствий, судебных разбирательств. Недовольных оказалось много, черные тучи сгущались над честным, «непорочным по службе» человеком.
Как ни тяжело было Семену Михайловичу в такой обстановке, он упорно продолжал делать свое дело. О том говорят архивные документы за 1814—1816 гг.: рапорты подведомственных карантинов и таможен, доклады о приходящих в порты и выходящих из них судах, дела об отправке за границу пшеницы, соли, сырой кожи, о деньгах, получаемых г. Феодосией от торговых операций, расчетах между купцами, строительных работах, об увольнениях и назначениях на должности и, как обычно, о злоупотреблениях чиновников, незаконных провозах грузов, судебных процессах [38]. Сам Броневский был педантичен, когда дело касалось денег. В декабре 1816 г. он вел переписку с думой о возвращении ей 546 руб. 50 коп. (и вернул их) за продукты, полученные им в 1812 г. от учрежденного на время эпидемии чумы Комитета продовольствия [39].
Семен Михайлович был убежденным противником крепостного права, сам не имел крепостных и по возможности стремился наказывать тех, кто позволял себе жестоко обращаться с крестьянами. Он отдал под суд некую Томашевичеву, на которую неоднократно жаловалась крепостная Прасковья Пузырева и которая отказалась изменить свое поведение по отношению к своим людям [40].
Хорошо знавший Броневского Ф. Вигель рассказывает, что началом всех его несчастий было сострадание к людям: он возмутился тем, что две крепостные, не выдержав мучений хозяина, в отчаянии бросились в море, и с тех пор старался принимать строгие меры по обузданию таких крепостников («спартанцев», как называет их Вигель) [41].
Закончился 1816 г., а с ним и жизнь, полная забот и ответственности. Ее сменили одиночество, нужда и острая боль за незаслуженное наказание. Судьба вторично нанесла удар по этому почтенному человеку. Некоторые обстоятельства дела, связанного с увольнением Броневского, лишением его пенсионного обеспечения и отдачей под суд, содержатся в документах сенатских дел исторического архива ТУАК и в воспоминаниях близких ему людей.
С 1817 по 1824 гг. Семен Михайлович, отстраненный от должности, находился под судом. Следствие длилось так долго ввиду того, что доносы и жалобы, с которыми выступили недоброжелатели (порой анонимные) против «злоупотреблений» градоначальника, видимо, не признавались достаточно основательными для его осуждения. Еще в 1814 г. инспектор феодосийского карантина барон Розен от лица карантинных служащих подал жалобу «на притеснения» Броневского и его помощников во время эпидемии чумы [42].
Притеснения заключались в том, что Семен Михайлович уволил и отдал под суд некоторых служащих карантина (в том числе и самого Розена) за хищения, тайный вынос товаров и прочие нарушения, которые обвинитель называет «формальностями ввиду создавшегося ненормального порядка вещей» (то есть превращения карантина в чумной лазарет). Из сенатских дел за 1821—1824 гг. ясно, в чем обвиняли Броневского: в непринятии мер предосторожности накануне начавшейся эпидемии и сокрытии первых случаев болезни, жестокости по отношению к «неприятным для него людям» под видом строгих карантинных мер, помещении в чумные бараки «больных не чумой», поведении, следствием которого было «прекращение подвоза съестных припасов», «в несправедливом предании членов магистрата и думы уголовному суду» и прочих беззакониях [43].
Ф. Вигель, знавший обо всех злоключениях Броневского, считал его «человеком честнейшим и просвещеннейшим», но «задорным», часто бывавшим не в ладах с новороссийскими генерал-губернаторами, «…сие поколебало доверенность к нему правительства… он был уволен от должности без просьбы, без вины и без копейки пенсиона». И далее: «Все соединилось против него: ябеды, доносы посыпались, самые невинные его деяния перетолковывались, все, что ни предпринимал он полезного для города, называлось притеснением, всякое оказанное им снисхождение названо слабостью, а малейшая строгость — злоупотреблением властью. И он погиб! Лишение доброго имени и способностей для того, кто имел их, есть нравственная смерть, в сравнении с которой физическая — ничто. Будучи в крайней нищете и не имея способов оставить место казни, он бродит, как тень среди убийц своих, и учит осторожности градоначальников, которые могли бы быть увлечены опасным человеколюбием» [44].
В бедах Семена Михайловича Вигель обвиняет греческую партию, клеветой своей очернившей честного человека (дело, разумеется, не в греческой партии, а в злоупотреблениях таможенных и карантинных чиновников и нарушавших законы торговцах, среди которых было много греков).