При Ніколає
Олександр Перший помер у 1825 році. До влади прийшов Микола Перший. Його правління почалося з повстання декабристів. Частина офіцерів хотіла перешкодити військам і Сенату присягнути на вірність цареві. Це завадило б Миколі Першому вступити на трон і дозволило б створити тимчасовий уряд. Так повсталі хотіли розпочати лібералізацію російського ладу.
Граф Аракчеєв, коротка біографія якого розглянуто в статті, відмовився брати участь у придушенні повстання. У результаті цар відправив його у відставку. Учасники повстання були відправлені на заслання, а п’ять найбільш затятих активістів – страчені.
Граф був звільнений у безстрокову відпустку на лікування. Він стояв на службі до 1832 року.
Особисте життя графа не склалася. У 1806 році він одружився з Наталією Хомутової з дворянського роду. Але незабаром вони розлучилися. У Грузино він жив з Настасьєю Шумський, яка вела все господарство в маєтку, поки господаря не було вдома. Її вбили селяни в 1825 році за незліченні знущання.
З 1827 року він займався своїм маєтком у Грузино. Аракчеєв відкрив там шпиталь, налагодив побут селян.
Не стало Олексія Андрійовича 21.04.1834. Прах поховали у Грузино. Сам маєток було повністю зруйновано під час Великої Вітчизняної.