兴建太学的建议亦来自董仲舒，他对汉武帝建议道：“愿陛下兴太学，置明师，以养天下之士。”在尊儒术的思想下，公元前124年，汉武帝接受公孙弘提出的具体办法，设太学于京师，并选出5名最有学问的鸿儒做五经博士，还选拔50名最优秀的青年做博士弟子（太学生）。学生学习的课程为五经，考试通晓其中一艺者便授予下级咨询官吏之职，优秀者可充任皇帝侍从，更加优异者破格提拔。

除了太学，各郡国也开设学校，设立学官，置学官弟子，待遇相应参照太学生。

随着经济的发展和国势的强大，西汉太学不断扩大，博士弟子逐渐增多。昭帝时100人，宣帝时200人，元帝时1,000人，成帝时达到3,000人。平帝时由王莽辅政，竟然扩招至10,000人。

无疑，汉武帝草创的太学虽然规模有限，但大学教育雏形已经形成，汉武帝通过太学不仅为国家培养优秀的儒家学者和官吏，也为自己的统一大业奠定了基础。