Тяжко пришлось Наталье Борисовне, слишком молода была для таких испытаний, только вошла в незнакомую семью и принуждена была ехать с ними в ссылку. Не было у нее и практического опыта, не взяла с собой ничего дорогого, все подарки, шубы, драгоценности отослала брату на сохранение. Никто не научил ее, как собраться. Золовки прятали золото, украшения, она же только ходила за мужем, «чтобы из глаз моих никуда не ушел». Брат прислал ей тысячу рублей на дорогу, она же взяла себе только четыреста, остальные отослала назад, приготовив еще мужу тулуп, себе шубу и одно черное платье. После поняла она свою глупость, да было поздно. Взяла еще с собою царскую табакерку, на память о государевой милости. Дорогою узнала княжна, что едет на своем коште, а не на общем. Из ее родных никто не приехал проститься с ней. Так что на долгие-долгие годы родной ей стала, такая не похожая на ее родную, семья Долгоруких. По дороге к пензенским деревням случилось много всякого: ночевали в болоте, муж ее чуть не погиб... Но это было только начало горестей. Не прожили они и трех недель в деревнях, как вдруг прибыли офицер гвардии и солдаты. Не успели опомниться, объявлено было о новой ссылке, в дальний город. Но куда — не сказали. После этого известия и когда выяснилось, что везут их в Березов, который отстоит от столицы в 4 тысячах верст и больше, Наталья Борисовна ослабела и лишилась чувств. Князь Иван испугался, что она умрет, и всячески ухаживал за ней. Но Наталья Борисовна собрала все силы свои. Любовь спасла ее от отчаяния.

«Истинная ево ко мне любовь принудила дух свой стеснить и утаивать эту тоску и перестать плакать, и должна была и ево еще подкреплять, чтоб он себя не сокрушил: он всево свету дороже был. Вот любовь до чево довела: все оставила, и честь, и богатство, и сродников, и стражду с ним и скитаюсь. Этому причина все непорочная любовь, которою я не постыжусь ни перед Богом, ни перед целым светом, потому что он один в сердце моем был. Мне казалось, что он для меня родился и я для нево, и нам друг без друга жить нельзя». Такое объяснение в любви к мужу, которого уже давно не было в живых, Наталья Борисовна написала через много лет, в глубокой старости. «Я по сей час в одном разсуждении и не тужу, что мой век пропал, но благодарю Бога моево, что Он мне дал знать такова человека, который тово стоил, чтоб мне за любовь жизнию своею заплатить, целый век странствовать и всякие беды сносить. Могу сказать — безпримерные беды...»

Да, то действительно были «безпримерные беды». Вся семья Долгоруких была лишена званий, орденов и имуществ и отправлена в ссылки. На долю князя Алексея Григорьевича с женой Прасковьей Юрьевной, сына Ивана с женой Натальей Борисовной, сыновей Николая (18 лет), Алексея (14 лет), Александра (12 лет) и дочерей Екатерины (18 лет, царской невесты), Елены (15 лет) и Анны (13 лет) выпала ссылка в Березов, суровый северный городок в 1066 верстах от Тобольска, недалеко от современного Сургута, окруженный дремучей тайгой и пустынными тундрами, стоящий на крутом берегу реки Сосьвы близ впадения ее в Обь. Здесь зима длилась восемь месяцев в году, погода отличалась непостоянством, воздух был сырой и туманный, свирепствовали жестокие бураны, а от мороза лопались стекла в домах. По недостатку помещений в остроге, в котором сидел до них светлейший князь Меншиков, князю Ивану с женой выделили дровяной сарай, наскоро перегороженный и снабженный двумя печками. Именным приказом императрицы Долгоруким было строжайше запрещено общаться с местными жителями, иметь бумагу и чернила и выходить куда-либо из острога, кроме церкви, да и то под надзором солдат. Надзор над пленниками был поручен специальной команде солдат сибирского гарнизона из Тобольска под началом майора Петрова. Содержание узников было самое скромное, по одному рублю на каждого ежедневно, а продукты в Березове были очень дороги. Для примера, пуд сахара стоил 9 руб. 50 коп., что было по тем временам ценой непомерной. Долгоруковы терпели большую нужду, ели деревянными ложками, пили из оловянных стаканов. Женщины занимались рукоделием, мужчины забавлялись утками, гусями и лебедями, которых разводили на острожном дворе.

Семья Долгоруких была не дружна, часто они ссорились и пререкались друг с другом, говорили много бранных слов. Об этом доносили даже императрице, которая в 1731 году издала специальный указ: «Сказать Долгоруковым, чтоб они впредь от ссор и непристойных слов конечно воздержались и жили смирно, под опасением наистрожайшего содержания».

Вскорости по приезде умерла княгиня Прасковья Юрьевна, а в 1734 году скончался князь Алексей Григорьевич. Главой семьи сделался князь Иван Алексеевич, и все семейные дела и распри легли на плечи его жены, этой хрупкой молодой женщины. Нраву она была тихого, доброго и смогла расположить к себе охрану, которая стала снисходительней к ним. Им разрешили выходить из острога в город, бывать в гостях и принимать у себя. Воевода Березова и его семья сошлись с ними, приглашали к себе и часто проводили время вместе. Жена воеводы присылала Долгоруким «разную харчу», меха. Из оставшихся у них дорогих вещей князь Иван и княжна Наталья делали подарки своим благодетелям. Общительный и веселый от природы князь Иван завел дружбу и знакомство с офицерами гарнизона, с местным духовенством и городскими обывателями. Всем интересно было послушать рассказы о житье при царском дворе столь именитого в прошлом вельможи. Особенно он сошелся с флотским поручиком Овцыным, через которого и принял свою погибель. Они часто вместе кутили, и вино развязывало язык князя. Он проговаривался о многом, неосторожно и резко отзывался об императрице, о цесаревне Елизавете Петровне, о придворных. Последовали доносы и строжайшее предписание не выходить из острога. Но все по-прежнему навещали их, и в числе прочих был приехавший таможенный подьячий Тишин, которому приглянулась «разрушенная» царская невеста княжна Екатерина. Однажды напившись, Тишин высказал ей свои желания, а оскорбленная княжна пожаловалась Овцыну. Тот со своими знакомцами наказал обидчика, жестоко избив. Тишин поклялся отомстить и отправил донос сибирскому губернатору, в котором обвинял Долгоруких и майора Петрова с березовским губернатором в послаблении узникам. Тогда отправили в Березов в 1738 году капитана сибирского гарнизона Ушакова с тайным предписанием под видом лица, присланного по повелению императрицы для улучшения положения Долгоруких, разузнать все об их жизни. Он сумел войти ко многим в доверие, узнал все, что ему было нужно, а по его отъезде был получен строжайший приказ из Тобольска — отделить князя Ивана от сестер, братьев и жены и заключить его в тесную сырую землянку. Там ему давали грубой пищи лишь столько, чтобы он не умер с голоду. Наталья Борисовна выплакала у караульных солдат дозволение тайно по ночам видеться с мужем через оконце, едва пропускавшее свет, и носила ему ужин.

Но новые испытания ждали ее. Темной ночью августа 1738 года к Березову подплыло судно с вооруженной командой. На него в полной тишине препроводили князя Ивана Алексеевича, двух его братьев, воеводу, майора Петрова, Овцына, трех священников, слуг Долгоруких и березовских обывателей, всего более 60 человек. Никто не знал, куда их везут. Их привезли в Тобольск к капитану Ушакову, который учинил над ними следствие, по тогдашнему обычаю «с пристрастием и розыском», то есть с пыткою. Девятнадцать человек были признаны виновными в послаблениях Долгоруким и потерпели жестокую кару: майора Петрова обезглавили, других били кнутом и записали в рядовые в сибирские полки. Князь Иван подвергся особым пыткам, во время следствия содержался в тобольском остроге в ручных и ножных кандалах, прикованным к стене, истощился нравственно и физически и был близок к умопомешательству. Он бредил наяву и рассказал неожиданно даже то, о чем его не спрашивали — об истории сочинения подложного духовного завещания Петра II. Это дало новый ход делу, были взяты дяди князя Ивана, князья Сергей и Иван Григорьевичи и Василий Лукич Долгорукий. Всех их привезли в Шлиссельбург, а затем в Новгород, подвергли пыткам и затем казнили. Страшной казни подвергли князя Ивана — его колесовали 8 ноября 1739 года на Скудельничьем поле близ Новгорода. Теперь здесь стоит церковь во имя Св. Николая Чудотворца, построенная в царство Екатерины II родственниками казненных. Слава Богу, что в то время княжна Наталья Борисовна не имела никаких вестей от мужа. Братья Ивана князья Николай и Александр были биты кнутом и после урезания языков сосланы на каторжные работы, князь Алексей отправлен матросом на Камчатку, а сестры — княжны Екатерина, Елена и Анна заключены в разные монастыри.

Княгиня Наталья Борисовна оставалась в Березове до восшествия на престол императрицы Елизаветы Петровны, затем она получила свободу и поселилась в Петербурге с двумя сыновьями в доме старшего своего брата Петра Борисовича Шереметева, унаследовавшего от отца более восьмидесяти тысяч крестьян и слывшего богатейшим помещиком России. Однако сестре своей он уделил только пятьсот душ. Наталья Борисовна принялась хлопотать о возвращении ее детям шестнадцати тысяч душ крестьян, конфискованных у князя Ивана Алексеевича. В ее просьбе обещал содействие и участие всемогущий тогда лейб-медик императрицы Лесток, но попросил за это в случае успеха вознаграждение за хлопоты — часы с курантами, купленные графом Петром Борисовичем в Лондоне за семь тысяч рублей. Но брат отказал сестре в этой безделице, сильно обидев ее. Правительство же возвратило ей всего лишь две тысячи душ. Окончив воспитание старшего сына Михаила, она с младшим, душевнобольным сыном уехала в Киев и после его смерти удалилась там в монастырь, во Фроловскую обитель, где постриглась под именем Нектарии. Когда сын ее старший Михаил (1731–1794) и его жена посетили Наталью Борисовну в монастыре, то просили ее написать о своей жизни для потомков, и она написала свою повесть любви. «Своеручные записки княгини Натальи Борисовны Долгорукой» до сих пор остаются памятником высочайшей литературы той эпохи. Язык и тонкость в изображении чувств и ее горьких приключений, живость воспоминаний и точные характеристики людей показали ее талант и свежесть восприятия, которые не притупились у нее с годами. Великого ума и душевной красоты была княжна. Заканчивая свою грустную повесть, она еще раз перечисляет достоинства человека, которого любила. «Я сама себя тем утешаю, когда спомню все его благородные поступки, и щасливу себя щитаю, что я ево ради себя потеряла, без принуждение, из свои доброй воли. Я все в нем имела: и милостиваго мужа и отца, и учителя и старателя о спасении моем; он меня учил Богу молитца, учил меня к бедным милостивою быть, принуждал милостыню давать, всегда книги читал Святое писание, чтоб я знала Слово Божие, всегда твердил о незлобие, чтоб никому зла не помнила. Он фундатор всему моему благополучию теперешнему; то есть мое благополучие, что я во всем согласуюсь с волей Божию и все текущие беды несу с благодарением. Он положил мне в сердца за вся благодарить Бога. Он рожден был в натуре ко всякой добродетели склонной, хотя в роскошах и жил, яко человек, только никому зла не сделал и никово ничем не обидел, разве што нечаянно». Наш рассказ свидетельствует о другом образе князя Ивана. Но любовь и вера княжны Натальи оставили для потомков ласково и тонко написанный портрет истинного мужа, исполненного всевозможных добродетелей. Это говорит лишь о том, что муж в глазах жены выглядит настолько достойно, сколько любви к нему ей отпущено Богом.