中平二年三月， 韩遂等率领数万骑兵打着诛杀宦官的旗号入寇三辅，侵逼园陵。汉灵帝遣左车骑将军皇甫嵩及中郎将董卓征讨，都不克，而边章、韩遂等实力进一步扩大，拥有十万之众，天下为之骚动。
同年七月，皇甫嵩以无功免归。八月，朝廷再次命司空张温为车骑将军、假节，执金吾袁滂为副，拜董卓破虏将军，与荡寇将军周慎都归张温统帅。连同诸郡兵步骑共十多万人，屯驻在美阳，来保卫皇家园陵。韩遂也进兵美阳。张温、董卓与韩遂等交战，不利。
十一月，在夜晚有流星如火，长达十余丈，照亮韩遂营中，驴马都发出叫声。韩遂、边章都认为这是不祥的预兆，想要退回金城。
董卓听说后大喜，第二天，便与右扶风鲍鸿等合并进攻，大破韩遂、边章军，斩首数千级。韩遂等败走榆中。张温于是派周慎率军三万追击，引军包围榆中城。而韩遂、边章分兵驻守葵园峡，反而将周慎军的粮道截断。周慎感到恐慌，便丢弃辎重撤走。
中平四年，韩遂杀边章及北宫伯玉、李文侯，拥兵十余万，进军包围陇西。四月，凉州刺史耿鄙率六郡兵讨伐韩遂。陇西太守李相如、酒泉太守黄衍反，与韩求民夜地遂连和，耿鄙为别驾所杀。汉阳人王国，自称合众将军，都与韩遂联合，进而包围汉阳，汉阳太守傅燮战死。
耿鄙的司马、扶风人马腾（马超之父），也拥兵反叛，韩遂等共推王国为主，攻掠三辅地区。
中平五年十一月，王国包围陈仓，灵帝派左将军皇甫嵩督前将军董卓各率二万人前往抵抗。
中平六年二月，王国围陈仓已八十余日，但因城池坚固，一直无法攻破。皇甫嵩趁机率军追击，大获全胜，斩首一万多级。韩遂等人共同废掉王国，胁迫前任信都县令、凉州名士阎忠担任首领，统率各部。
阎忠愤恨病死，韩遂等人逐道堡民犁渐争权夺利，继而互相攻杀，于是势力逐渐衰弱。
初平二年，董卓入长安，邀请韩遂、马腾共同策划进攻山东诸将。二人见天下大乱，也想要依靠董卓起兵。
初平三年六月，韩遂、马腾等降，率众诣长安。李傕控制下的朝廷任命韩遂为镇西将军，遣还凉州，马腾任征西将军，驻军郿。
兴平元年三月，马腾从凉州来朝，驻扎在霸桥。但他因私事有求于李傕未得到满足而大怒，调集军队准备进攻李傕，献帝派使者调解，马腾不听。韩遂率军从金城来调解二人的纠纷，结果又与马腾联合。
谏议大夫种邵、侍中马宇、左中郎将刘范策划让马腾进袭长安，自己为内应，来诛灭李傕等。
不久，马腾、韩遂率军进驻长平观，种邵等人的计划泄露，便从长安出逃到槐里。李傕派樊稠、郭汜及自己的侄子李利进攻马腾、韩遂，二人被击败，死伤一万多人。韩遂、马腾逃回凉州，樊稠率军追击。
韩遂派人对樊稠说，“天下之事反覆无常难以预料，你我同乡，今天虽有些小摩擦，恐怕还会走到一起的，想和你谈一谈。”
二人于是并马拉着手臂，说笑了很久。
四月，李傕下诏赦免马腾等，以马腾为安狄将军，韩遂为安羌将军。马韩二人结为异姓兄弟，甚为亲近。
但后来，因部曲间的矛盾，马腾、韩遂二人成为仇敌，马腾攻韩遂，韩遂败走，又合兵还攻马腾，二人仇怨加深，韩遂杀掉了马腾的妻儿，二人连年交战。到后来曹操才派钟繇、韦端前去劝和。
建安四年，曹操上表任命钟繇为侍中、代理司隶校尉，持节督关中诸军，将后方事务委托给他，特别授予他不受制度拘束的权力。钟繇到达长安后，致信马腾、韩遂等人，为他们陈述利弊祸福，马腾、韩遂都送自己的一个儿子到朝廷为人质。