Внешние враги, польско-литовские и шведские феодалы решили, что Россия может стать их легкой добычей. В 1604 году польско-литовские магнаты начали интервенцию через своего ставленника Лжедмитрия I. Борьба с интервентами затянулась почти на 14 лет.
Во время польско-шведской интервенции Боровск сильно пострадал от беспрерывных нападений как «тушинского вора» Лжедмитрия II, так и «литвин» (поляков и литовцев), а также и от татар. Боровск в это время являлся центром главной оборонительной линии Москвы: Можайск – Боровск – Серпухов. Важнейшие битвы произошли в 1610 году. Лжедмитрий II вместе с Сапегою (братом литовского канцлера) отправился на Москву, но был встречен на юго-западном участке Боровского уезда воеводами Шуйского Воротынским, Лыковым, Измайловым и пришедшими на помощь Шуйскому крымскими царевичами. Битва была столь кровопролитная, что Лжедмитрий II едва усидел в таборе. Однако преследование войск Лжедмитрия II не состоялось: крымские царевичи объявили, что «пронимает голод» и ушли за Оку, а бояре удалились в Москву.
30 июня 1610 года войска Шуйского потерпели поражение под Клушином. Узнав об этом, Лжедмитрий II поспешно двинулся из Калуги к Москве. Путь его лежал через Медынь к Боровску. Над городом нависла смертельная опасность. Гарнизон Боровска был усилен и насчитывал до 10 тысяч человек, не считая вооруженных крестьян из окрестных деревень.
Когда враг приблизился, царский воевода князь Михаил Константинович Волконский и его помощники Яков Змеев и Афанасий Челищев решили оставить боровскую деревянную крепость и укрылись в Пафнутьевском монастыре. Это было правильное решение. Артиллерия в 18 веке достигла такой мощности, что деревянные крепостные сооружения не являлись уже надежной защитой, монастырская же крепость для тогдашнего времени была неприступной. Помимо каменных стен, крепость защищали прудами и рвами с водой, земляными волами и деревянным палисадом. Конечно, не все могли укрыться за монастырскими крепостными стенами. Большинство воинов расположилось около крепости под прикрытием рогаток. Взять крепость с ходу самозванцу не удалось - боровчане мужественно отразили нападение. Десять дней продолжалась осада. Атаки следовали одна за другой, но все безуспешно. Однако враги неожиданно получили поддержку от помощников воеводы Якова Змеева и Афанасия Челищева, которые изменили Шуйскому «переметнулись на сторону Лжедмитрия, изменяя отечеству, монастырь врагам предали». По договоренности с поляками глухой ночью изменники открыли крепостные ворота, и врагу удалось проникнуть в монастырь через Входную башню (в народе ее называют «башней измены»). Разгорелась ожесточенная схватка. Неожиданное появление врага в крепости внесло расстройство в ряды защитников. Не удалось ни развернуться для правильного боя, ни запереть ворота, а враг бросил в бой все свои силы. Шла горячая сеча и около стен, и на стенах , но особо жестоко рубились в самом монастыре.
Воевода Михаил Волконский с верными ему людьми стремился превратить в надежный оплот защиты соборную церковь, встал во входных дверях и руководил боем. Силы были далеко не равные, пришлось отступать. Волконский, изнемогая от многочисленных тяжелых ранений, истекая кровью, упал у левого клироса и скончался. Последние минуты боя запечатлены в большой картине В. К. Демидова ( ученик К. П. Брюллова) «Предсмертный подвиг князя М. К. Волконского в Пафнутьевском монастыре в Боровске в 1610 г.». Картина находится в Калужском художественном музее. В этой битве, как указывает летописец, погибло 12 тысяч человек. Монастырь был ограблен и сожжен, крепостная стена и башни разрушены. Восстановить их представилось возможным в 30-х годах 17 века.