康绚字长明，华山蓝田人。他的祖先出自康居。最初，汉朝设立都护，都称臣于西域，康居也派侍子到河西听命，被留作国民，那以后便以康为姓。晋朝时陇右发生叛乱，康氏迁往蓝田。康绚的曾祖父康因是苻坚太子詹事，生下儿子康穆，康穆是姚苌河南尹。宋永初中(421)，康穆率乡里同族三千多家进入襄阳的岘南，宋朝设置华山郡蓝田县，寄居在襄阳，任命康穆为秦、梁二州刺史，康穆尚未受职，死去。康绚的伯父元隆，父亲元抚，两人都为流人推举，先后任华山太守。　　康绚幼年时洒脱有志向，齐文帝任雍州刺史时，所征召的官吏都取名门出身，只有康绚凭借才力被征召为西曹书佐。齐永明三年(485)，授职为奉朝请。文帝即位，因为以往的恩情荐举康绚为直后，因为母亲去世而卸去官职。三年服丧期满，授职振威将军、华山太守。推举全心全意的、安抚遵礼守法的，歉收的、饱足的都心悦诚服。迁任前军将军，又任华山太守。　　齐永元元年(499)，义师举事，康绚发动全郡响应高祖，亲率三千勇兵，私马二百五十匹跟随高祖。授职西中郎南康王中兵参军，加封辅国将军。义师将张冲包围在郢城，历时很久，东昏将领吴子阳在加湖建立营垒，士气很旺盛，康绚随王茂大力攻打。从这之后康绚常率游兵，有紧急情况赶紧赶至该地，被斩杀的敌人、缴获的军器很多。天监元年(502)，康绚被封为南安县男，食邑三百户。授职辅国将军、竟陵太守。魏军围攻梁州，刺史王珍国派人请求援救，康绚领郡兵赴救，魏军退去。天监七年(508)，司州、三关被魏军逼迫，诏令借给康绚符节，任武旅将军，率军援救。天监九年(510)，迁封假节称号，督北兖州缘淮

诸军事、振远将军、北兖州刺史。到朐山的亡命之徒以城投降魏军时，康绚迅速派遣司马霍奉伯分兵占据险要之地，魏军前来，不能过朐城。第二年，青州刺史张稷被士人徐道角杀害，康绚又派司马茅荣伯讨平徐道角。高祖征召康绚为骠骑临川王司马，加封左骁骑将军，不久转任朱衣直..。天监十三年(514)，升迁太子右卫率，甲仗百人，与领军萧景担任宫廷警卫。　　康绚身长八尺，容貌超群，虽身居要职，仍习武艺。高祖在德阳殿戏马，令康绚射马，按住箭上的绳子弯弓对准目标，看的人十分高兴。那天，高祖派画工画了康绚的像，派中使拿去问康绚：“你识得这图上画的是谁吗？”康绚如此被皇上亲近。　　当时魏朝投降过来的王足述说计谋，请求在淮水筑堰以灌溉寿阳。王足引用北方童谣说：“荆山为上格，浮山为下格，潼沱为激沟，并灌巨野泽。”高祖认为说的有道理，派水工陈承伯、材官将军祖日恒观察地形，他们俩人都以为淮水内沙土浮轻，不坚实，堰不容易筑成。高祖不听，征发徐州、扬州人，每二十户取五人来筑堰。诏假康绚符节、都督淮上诸军事，并主持堰的兴修，服劳役的人及士兵共有二十万。在钟离境内南起浮山，北抵..石，沿着岸边筑土，在淮水中流合脊。天监十四年(515)，堰即将合龙，淮水流得很快，于是再一次决口，众人十分忧虑。有人认为长江、淮水多有蛟龙，能够呼风唤雨使堤岸决口，它的性情是厌恶铁，因此收集东西两方的冶铁器，大则饮器烹器，小至铧、锄，数千万斤，丢在堰内。堰还不能合龙，于是砍伐树木作栏圈，用巨石填塞，在上面再加上土。淮水沿岸百里之内，山上的树木石头，不论大小都搜尽了，挑的人肩上都磨穿了。