1260年三月,忽必烈受到东道诸王塔察儿、西道诸王合丹等的拥立,在开平召集忽里台,即大汗位,建元中统。同时任用汉族士人建立了中书省、十路宣抚司等政务行政机构,巩固了在中原地区的统治地位。
阿里不哥也在漠北召开忽里台,称汗,据有漠北地区。驻军六盘山的蒙古军主帅浑都海、陕西的刘太平,以及四川蒙古军的一些将领,拥护阿里不哥为汗,企图以秦蜀之地响应。
忽必烈遣廉希宪为京兆等路宣抚使,杀刘太平和四川军中依附阿里不哥的将领。不久,诸王合丹、汪良臣等合军,击败浑都海和逾漠南下应援的阿蓝答儿,完全控制了关陇川蜀地区。
七月,忽必烈亲率大军去和林征阿里不哥。九月,阿里不哥败逃,追至吉利吉思。忽必烈命宗王移相哥统领一军留驻和林,以待阿里不哥。
1261年秋,阿里不哥率军袭击移相哥军,乘胜南下。忽必烈急忙率领张柔等七处汉军,并令董文炳率射手千人,塔察儿率军士万人从征。十一月,忽必烈军与阿里不哥战于昔木土脑儿(今蒙古苏赫巴托省南部)。诸王合丹等为右军;诸王塔察儿等将左军;诸王哈必赤将中军,合势进攻。塔察儿与合必赤分兵奋战,大破阿里不哥的斡亦剌军。阿里不哥后军阿速台复至,再战,两军各有伤亡。阿里不哥北撤,忽必烈也还军。
因忽必烈切断了汉地对漠北的物资供应,阿里不哥陷于窘境,便派阿鲁忽(察合台孙)前往主持察合台汗国政务。但阿鲁忽取得汗位后,拒绝向阿里不哥提供物资,并扣留其使者,于是阿里不哥举兵而击阿鲁忽,进驻阿力麻里,阿鲁忽西走撒马尔罕。
1264年(至元元年),阿里不哥众叛亲离,走投无路,向忽必烈投降。
中原汉地成为忽必烈政权的重心,他依靠汉族士大夫,推行“汉法”,改革蒙古统治者对汉地的统治方式。1262年,山东行省大都督李檀趁忽必烈与阿里不哥争战之机,结宋为外援,占据济南,并企图策动华北各地诸侯响应。忽必烈调集重兵围攻济南,七月城破,李檀被杀。忽必烈因势利导,罢世侯,置牧守,分民、兵之治,废州郡官世袭,行迁转法。专制一方的世侯势力受到限制和削弱,加强了中央集权。1271年(至元八年)十一月,忽必烈诏告天下,正式建国号为“大元”。1272年二月,改中都为大都(今北京),宣布大都为元朝的都城。