乐府设立了百年左右，到哀帝刘欣时，史书所载，说他不喜欢音乐，尤其不好那些民歌俗乐，称之为“郑卫之声”。偏偏当时朝廷上下爱好这种“郑卫之声”又成了风气，贵戚外家“至与人主争女乐”，使刘欣看着不顺眼，便决心由朝廷做个榜样，下诏把乐府里的俗乐罢去，只留下那些有关廊庙的雅乐。共裁革441个演奏各地俗乐的讴员。其实，哀帝罢乐府，并非他不喜欢音乐，他所不喜欢的只是民间俗乐，只是“郑卫之声”可罢，留下的338人多是用于演奏雅乐之人员，可见统治阶级对民间音乐诗歌的鄙视。
哀帝罢去掌管俗乐的“乐府官”，并未能阻止这种民歌势力的向前发展，现存的乐府诗，不论是贵族的或民间的，仍多是哀帝以后的作品。东汉时期恢复乐府机构，史无明文。但统治阶级对乐歌相当重视。明帝把大乐分为大予乐、雅颂乐、黄门鼓吹、短箫饶歌等四部分；光武帝时制有云翘舞，育命舞；明帝时东平宪王制有大武舞；章帝元和三年，制燕射歌等等，说明乐府诗仍然向前发展。同时，统治阶级出于种种目的，起码是出于政治目的也曾访听歌谣。光武帝刘秀曾“广求民瘼，观纳风谣”。和帝刘肇曾“分遣使者，微服单行，各至州县，观采风谣”。灵帝刘宏也曾“诏公卿以谣言举二千石为民蠢害者”（谣言，指听百姓风谣善恶，而黜涉之也）。那些被罢的演奏各地俗乐的讴员，本来就都是由各地民间征集来的，被罢后，他们又重新回到民间，继续演奏俗乐民歌，并把人民口头创作的新民歌记录下来，自己也有新的创作，使得乐府诗继续向前发展。
汉代以后，魏晋时代仍有乐府机关的设置，但采诗的制度却没有了。只是两汉时代的乐府民间歌辞，有些还在继续演唱、使用，因而，两汉的一些民歌能够流传下来。六朝有些总集专收录这些歌辞，沈约著《宋书》，这些乐府诗便被载入该书的《乐志》。
至东晋后的南北朝时期，统治阶级纵情声乐，又开始收集民歌俗曲，因此，流传在当时南、北方的民歌，又被保存不少，仅南朝乐府流传下来的就有480余篇，不仅数量多，而且与汉乐府诗也有不同的特色。