在弗吉尼亚的几年，杰斐逊除了在政治上取得的成绩外，他也充分享受到了家庭的温暖和乐趣。在议会开会期间，玛霞到威廉斯堡和他共同生活，在议会休会期间，他就把工作带到家里做。玛霞在操持家务的同时，也保持了正常的工作。每当杰斐逊在家时，他会分担一部分家务，减轻玛霞的疲劳，而当忙碌了一天坐下来休息时，丈夫拉小提琴，妻子弹大键琴，全家人都沉浸在音乐的王国中。
由于杰斐逊执政时对英战争的失利，使他蒙受了不可避免的耻辱，州立法议会以多数票通过赞成对英军入侵期间杰斐逊的任职行为进行调查。尽管一个专门委员会经过认真调查之后，证明他完全无罪，但对杰斐逊的攻击却被政敌们所夸大。
这次受辱使他对政治生活感到厌倦，他决心归隐，从1781年—1783年，杰斐逊始终在蒙蒂塞洛度过，他在这里继续从事他的住宅建设和农业科学活动，并把收集好多年的弗吉尼亚资料，编成了一本书，就是1785年在法国首次发表的《弗吉尼亚记事》，成为当时最引人注目的一本自然科学书籍，在美国和欧洲都受到很高的评价。杰斐逊在这本书中详细记述了家乡弗吉尼亚的地理、气候、资源、印第安人、宗教信仰、生活习俗、农业、经济、政治及其它许多情况。在“政治和政府”的一章，杰斐逊保卫了自由和平等的观点，并且激烈地谴责了黑人奴隶制度，认为它是政治上的和道德上的巨大祸害。这本书的出版为杰斐逊获得文学家的名声奠定了基础。