这时候正赶上雨季，水坝上的水满了，智伯瑶命令士兵在水坝上开了个豁口。这样，大水就直冲晋阳。灌到城里去了。城里的房子被淹了，老百姓不得不跑到房顶上避难，灶头也被淹没在水里，人们不得不把锅挂起来做饭。可是晋阳城的百姓恨透了智伯瑶，宁可淹死，也不肯投降。
智伯瑶约韩康子、魏恒子一起查看水势，他指着晋阳城得意的对他们两个说：你们看，晋阳不是就快完了吗？早先我还以为晋水就像城墙一样能拦住敌人，现在才知道大水也能灭掉一个国家呢。韩康子和魏恒子表面上顺从地答应，心里暗暗吃惊。原来魏家的封邑安邑（今山西夏县西北）、韩家的封邑平阳（今山西临汾西南）旁边各有一条河道。智伯瑶的话正好提醒了他们，晋水既能淹晋阳，说不定哪一天安邑和平阳也会遭到晋阳同样的命运呢。
晋阳被大水淹了以后，城里的情况越来越困难了。赵襄子非常着急，对他的门客张孟谈说：民心固然没变，可是要是水势再涨起来，全城也就保不住了。
张孟谈说：我看韩家和魏家把土地割让给智伯瑶，是不会心甘情愿的，我想办法找他们两家说说去。
当天晚上，赵襄子就派张孟谈偷偷出城，先找到了韩康子，再找到魏恒子，约他们反过来一起攻打智伯瑶。韩、魏、两家正在犹豫，经张孟谈一说，自然同意了。
第二天夜里，过了三更，智伯瑶正在自己的营里睡觉，猛然间听到一片喊杀声，他连忙从卧榻上爬起来，发现衣裳和被子全湿了，再定睛一看，军营里全是水。他开始还以为是堤坝决口，大水灌到自己营里来了，赶紧叫士兵去抢修，但是不一会，水势越来越大，把兵营全淹了。智伯瑶正在惊慌不定，一霎时，四面八方响起战鼓，赵、韩、魏三家的士兵驾着小船、木筏，一起冲杀过来，智家的士兵被砍死、淹死无数。
赵、韩、魏三家灭了智家，不仅把智伯瑶侵占的土地收了回来，连智家的土地也由三家平分。
公元前438年，晋哀公去世，其子晋幽公即位。韩、赵、魏三家乘机商定了瓜分晋国的方案。魏控制了今山西南部、河南北部、中部、东部；赵占去了今山西北部、中部和河北中部、西南部及内蒙古自治区的一部；韩拥有今河南中部、西部和山西东南部。而国君晋幽公只剩下了两座小城，完全沦为了韩、赵、魏这“三晋”的附庸。
公元前403年，韩、赵、魏三家分别派使者上洛邑去见周威烈王，要求周天子把他们三家封为诸侯。周威烈王想，不承认也没有用，不如做个顺水人情，就把三家正式封为诸侯。