1809年3月，托马斯·杰斐逊告别白宫。国务卿詹姆斯·麦迪逊走马上任，成为美国下一届总统。杰斐逊对麦迪逊的能力深信不疑，他回到自己位于维吉尼亚蒙蒂塞洛的庄园隐居，再也没有重返华盛顿。不过，杰斐逊经常跟麦迪逊书信往来，在不少问题上为麦迪逊出谋划策。
斐逊在蒙蒂塞洛接待了很多来访的客人，他最喜欢做的事情就是讨论书籍、政府、科学和教育。杰斐逊十分重视教育，他关于政府的理念仰仗于民众做出明智决策的能力。他把晚年的时光全部投入改善维吉尼亚州的教育体系。
杰斐逊一生都对教育非常感兴趣，对教学手段有很多想法。他认为，每个人都有受教育的权利，但他也知道，人跟人有不同的学习能力。杰斐逊把人分为两类，一类从事体力劳动，另外一类从事脑力劳动。
他认为，这两类人都应该接受读、写、算的基础教育。基础教育过后，这两类人就应该分开，接受不同的教育。他认为，体力劳动者应该学习种地和手工技能，而脑力劳动者则应该着重于科学、医学或是法学的学习。
杰斐逊离任后，立即投入了教育工作。当时，有些人要在杰斐逊的庄园附近创办一所大学。杰斐逊主动请战。他表示，愿意负责校舍和教程的设计。
他给很多教育界的好友写信，征求他们的意见，其中一位专家建议杰斐逊不要将宗教包括在课程里，杰斐逊表示赞同，但他同时了解，把宗教专业排除在外一定会带来麻烦。
杰斐逊解释说：“我们不能永远按照最理想的方法行事，跟我们打交道的人跟我们有不同的理念，他们有权利，也有能力去实现这些理念。要进步只能循序渐进。要想最大程度地服务于民，就要在能领导的时候领导，不能领导的时候追随，随时随地准备伸出援手，帮助他们更进一步。”
杰斐逊开始为夏洛茨维尔大学制定教程，但是除此之外，他还为维吉尼亚州设计了一整套教育体制，把学校分为三个阶段。第一个阶段是小学，所有孩子都要上，学习读书、写字、算术和地理。小学要遍布全州，开支由当地居民承担。
第二个阶段是学院，相当于今天的高中。杰斐逊建议，在维吉尼亚兴建九所高中，学生们可以学习科学，或是学习农业，或是学习一些手艺。这些学校的开支由州政府负担。
第三个阶段是州立大学，让那些资质最好的学生接受高等教育，培养律师、医生、教授、科学家和政治领袖。有钱人的子弟自己出钱，少数天资过人的穷孩子的学费则由州政府负担。
杰斐逊还建议，将维吉尼亚州立大学设在夏洛茨维尔。杰斐逊已经开始在那里兴建夏洛茨维尔大学，并表示，愿意把校舍免费送给维吉尼亚州立大学。
很多维吉尼亚议会成员都很欣赏这套教育计划，但是也有不少反对者，因为这项教育计划需要庞大的开支，他们不希望为此而增加税收。
尽管如此，维吉尼亚州议会最后还是决定接受计划中的部分内容。他们通过了一项决议，为穷人家的孩子提供教育经费。他们还同意，每年拨出一万五千美元给维吉尼亚州立大学。校址的选择也引起了广泛争议，很多城镇争先恐后，但最后还是选在了夏洛茨维尔。
此时，杰斐逊已经完成了大学校舍的设计。他借鉴了古希腊和罗马很多优秀建筑的特色，杰斐逊的设计尽善尽美，直到一百年后，维吉尼亚州立大学决定加建一座大楼，建筑师还是决定照搬杰斐逊的设计方案。
维吉尼亚州立大学立即投入兴建，但是前后花了六年时间才完工。杰斐逊几乎每天都会去监工，随时随地纠正施工错误，即使身体不适，他也会从住所的窗户里，通过望远镜监督工程进展。
建筑费用不断增加。杰斐逊不得不竭尽全力，说服州议会不断拨款，他还要设法聘请当时的一流教授来任教。为此，他派人到全国各地去，搜寻优秀的教师，甚至还曾派人到欧洲去。1825年3月，维吉尼亚大学终于开课了。
维吉尼亚大学兴建的过程中，杰斐逊的身体状况越来越差。82岁高龄的杰斐逊开始气力不支，他患有风湿和糖尿病，身体虚弱，走不了几步就气喘吁吁，他的记忆力也在不断退化。杰斐逊知道自己时日不多了。有一天，他告诉一位好友说：“回想起我这辈子的友人和亲人时，就好像是看着一个战场，全都已经倒下了。”
随着健康状况的不断恶化，杰斐逊开始考虑自己的后事。他希望死后能简单地被安葬在房子的山脚下，他还描绘了自己墓碑的样子。他希望墓碑上能这样写：“这里埋葬的是托马斯·杰斐逊，美国独立宣言的作者、维吉尼亚宗教自由法的作者，维吉尼亚州立大学的奠基人。”
在这段话中，他没有提到自己曾经担任维吉尼亚州州长、美国国务卿、或是美国总统，也只字未提他从法国手中购买路易斯安那，显著增加了美国的领地。杰斐逊对选择独立宣言、维吉尼亚宗教自由法和维吉尼亚州立大学作为自己一生最伟大的成就，没有作出过任何解释。
杰斐逊的传记作家内森·沙克内尔是这样认为的。他说：“杰斐逊选择的生命中的这些要点，都是他为释放人类思维不懈努力所做出的贡献，摆脱政治压迫、摆脱宗教压迫，并最终借助教育获得自由，摆脱束缚人类精神的一切桎梏。”
1826年7月4号，美国举国欢庆独立宣言五十周年。就在当天，波士顿传来了美国前总统约翰·亚当斯去世的消息。他的临终遗言是，“托马斯·杰斐逊还活着”。可是他错了。当天早上九点五十分，他的好朋友托马斯·杰斐逊也辞别了人世。这两位伟人去世的消息迅速传开，美国民众从欢庆转为哀悼。杰斐逊次日下葬，按照他的遗愿，葬在山脚一个简单的墓碑下。
