晗于1909年8月11日出生于浙江义乌，原名吴春晗，字辰伯。家庭经济时常颠簸于温饱与小康之间。其父吴滨珏，秀才出身，家道颇严。吴晗少年聪慧，自小就对历史尤其明史产生了浓厚兴趣。吴晗不仅早慧，而且早熟，12岁时到金华读中学，广读博览，一边吸收梁启超变革维新的思想，一边还学会了打麻将、抽烟，逃学旷课，无所不有，总之，他不是一个“乖孩子”。
1925年吴晗中学毕业，因家道衰落，遂在本村小学教书，赚取一点工资贴补家用。但吴晗志不在此，1928年他独自离家出走，辗转来到杭州考入之江大学预科;一年后该校停办，又前往上海，考入中国公学。从此，他与胡适结下不解之缘——胡适此时正是该校校长。
进入中国公学，吴晗即成为胡适门生，不久写下《西汉的经济状况》一文，深得胡适赞赏。1930年3月19日，吴径直写信向胡适讨教自己在整理《佛国记》时遇到的问题：“明知先生很忙，不过除了先生之外，我实在想不出一个比先生更能用科学的方法来解决和指导路径的人。”不久，胡适离开中国公学，吴晗则追随北上，经人介绍，由顾颉刚安排在燕京大学图书馆当馆员。此间，他写下《胡应麟年谱》，并以此成为他正式研究明史的开端。吴晗再度为此写信讨教胡适，胡适在收信的第二天即给吴晗回信，对其作品大加赞赏，并约吴晗“星期有暇请来谈”。从此，吴晗成为胡适的“弟子”。
吴晗未入北大的原因是他偏科严重，入学考试需考文史、英文和数学三科，他的文史、英语均得满分，而数学竟然考了零分，按北大规定，有一门零分不得录取。随后他改投清华，得到同样成绩，但清华网开一面，以文史成绩特别优异为由，破格录取了他。吴晗遂成为“清华人”，与北大失之交臂。
吴晗进入清华时，家道基本败落。胡适对这位弟子真是青睐有加，他在吴晗录取后没几天，即给清华代理校长翁文灏和教务长张子高写信：“此人家境甚贫，本想半工半读，但他在清华无熟人，恐难急切得一个工读机会。他若没有工作的机会，就不能入学了。我劝他决定入学，并许他代求两兄帮忙。此事倘蒙两兄大力相助，我真感激不尽。”此外，还大力介绍了吴晗的学术水准。
吴晗作为清华学子，全面师法的却是胡适这位北大先生的治学方法。胡适在给吴晗的信件中，对这位弟子进行了多方面指导：“治明史不是要你做一部新明史，只是要你训练自己作一个能整理明代资料的学者。”吴晗表示：“光耀所及，四面八方都是坦途。”可见胡适对他影响之深。
20世纪30年代，中国有着动荡中的平安。1931年爆发“九一八”事变，东三省沦陷，群情激奋。吴晗显然是一位爱国者，他积极支持同学们的请愿活动，自己却未厕身其间，但他毕竟是血气方刚的热血青年，在1932年1月30日给胡适的信中指责当局：“翻开任何国任何朝代的历史来看，找不出这样一个卑鄙无耻丧心病狂的政府。”并在信中希望“先生也同样地予以解决的方法并指示一条应走的路”。
胡适没有回答。他于1932年6月27日发表《赠与今年的大学毕业生》一文，继续倡导“科学救国”的理念，但胡适在“药方”中同时要求学生们“总得有一点信心”。
因着胡适的关照，吴晗在清华兼职工读，待遇颇为优厚，足够满足求学之需。吴晗毕业时，在自己的毕业照上题写着胡适的名言：“大胆的假设，小心的求证。少说些空话，多读些好书——录胡适先生语。”
吴晗真是做史学的料，聪慧勤奋，再加恩师教诲，他在清华求学期间便写下了《胡惟庸党案考》、《明代靖难之役与国都北迁》、《明代之农民》等一批相当有见地、在史学界有较大影响的文章。1934年吴晗毕业留校任教，开设明史和明代社会等课目，影响直追陈寅恪、张荫麟这些史学大家。
吴晗年轻时的一个重要史学成绩是关于“建州史”的研究。建州乃女真族先祖之地，努尔哈赤入关并建清王朝后，竭力否认建州曾在明朝管辖之内，并在清修《明史》中对过往历史进行篡改、伪造和歪曲。正如鲁迅指出的那样：“现在不说别的，但看雍正，乾隆两朝对于中国人著作的手段，就足够令人震惊。全毁，抽毁，删去之类也且不说，最阴险的是篡改了古书的内容。乾隆朝的纂修《四库全书》是许多人颂为一代盛事的，但他们不但搞乱了古书的格式，还篡改了古人的文章，不但藏之于内廷，还颁之于文风颇盛之处，使天下士子阅读，永不会觉得我们中国的作者里面，也曾经有过很多很有些骨气的人。”中国的历史就是这样被一页一页撕毁的。
最终考据结果表明，早在明朝就设有“建州卫”，女真族长期隶属明政府，是中华民族中一员。通过这段研究，吴晗的史学观念发生了变化，正如他在主编《益世报》史学专刊时表达的那样，一、但论是非，不论异同;二、求真;三、重视“一向不被人们所重视的正史以外的若干记载”;四、“史学是属于社会的民众的”。这表明吴晗对官修历史产生了严重质疑，他在《史学》一周年的致辞中写道：“我们认为帝王英雄的传记时代已经过去了，理想中的新史乃社会的、民众的。”
这里，笔者要特别指出的是，20世纪30年代正是法国年鉴学派兴起的时期，其治史方式也正是放弃政治史，重点转向研究社会生活史对社会演变所起的作用。年鉴学派大量吸收马克思主义的观念，成为当代史学最重要的流派之一，涌现出一批史学大家，如马克?布洛赫、布罗代尔等。吴晗的治史方式与之有相当程度的契合，尽管表达不甚明确，也没有形成团队规模。可见，中国学术界在上世纪30年代就达到了相当高度，虽不能并肩欧美学界，但追赶已非遥遥无期。