中国计量单位史的发展大约始于父系氏族社会末期。传说黄帝“设五量”，“少昊同度量，调律吕”。度量衡单位最初都与人体相关：“布手知尺，布指知寸”、“一手之盛谓之掬，两手谓之溢”。这时的单位尚有因人而异的弊病。《史记·夏本纪》中记载禹“身为度，称以出”，则表明当时已经以名人为标准进行单位的统一，出现了最早的法定单位。商代遗址出土有骨尺、牙尺，长度约合16厘米，与中等身材的人大拇指和食指伸开后的指端距离相当。尺上的分寸刻划采用十进位，它和青铜器一样，反映了当时的生产和技术水平。
春秋战国时期，群雄并立，各国度量衡大小不一。秦始皇统一全国后，推行“一法度衡石丈尺，车同轨，书同文字”，颁发统一度量衡诏书，制定了一套严格的管理制度，商代牙尺为中国2000多年封建社会的度量衡制奠定了基础。
商代牙尺
汉代政治经济皆如秦制，度量衡也沿用秦制。西汉末刘歆将秦汉度量衡制度整理成文，使之更加规范化，条理化，后收入《汉书·律历志》，成为最早的度量衡专著。
中国古代度量衡与数学、物理、天文、律学、建筑、冶炼等科学技术的发展起着相互促进的作用。商鞅为统一秦国度量衡而于公元前344年制造的标准量器铜方升上刻有：“十六寸五分寸壹为升”，用度量审其容。方升遗存至今。战国时齐的一件标准量器栗氏量包括升、豆、?三个容量单位。《考工记》详细记载了制作这件量器时冶炼青铜和铸造的技术条件及所包括的各个量的尺寸、容量和重量。
长度单位的规定秦汉时尺长约合今23厘米。南朝太史令钱乐之依照当朝尺长（合今24.5厘米）更铸张衡浑天仪。隋文帝统一全国后，下令统一度量衡，用北朝大尺（长30厘米）作为官民日常用尺，用南朝小尺测日影以冬至和夏至。唐代僧一行测量子午线，宋代司天监的圭表尺、元代郭守敬造观星台所标的量天尺都采用隋唐小制。1975年，天文史家从明代制造的铜圭残件上发现当时量天尺的刻度，考定尺长24.525厘米，与钱乐之浑天仪尺度相符。在1300多年间，量天尺尺值恒定不变，保证了天文测量的连续性和稳定性。日常用尺，则历朝趋向变大。
重量单位的规定春秋中晚期，楚国制造有小型衡器——木衡、铜环权，用来称黄金货币。完整的一套环权共十枚，分别为一铢、二铢、三铢、六铢、十二铢、一两、二两、四两、八两、一斤。一铢重0.69克，一两重15.5克，一斤251.3克，十枚相加约500克，为楚制二斤。中国历史博物馆藏有一支战国时铜衡杆，正中有拱肩提纽和穿线孔，一面显出贯通上下的十等分刻线，全长为战国的一尺。形式既不同于天平衡杆，也不同于秤杆。可能是介于天平和杆秤之间的衡器。战国不仅广泛使用衡器，对杠杆原理也有透彻的认识。《墨经·经下》即有精辟论述。秦汉以后杆秤流行。
中国古代度量衡制的内在联系中国很早就以长度作为基本量，由它推导出容量和重量。因此，如何确定一个恒定不变的长度单位，成为历代探讨和争论的课题。《汉书·律历志》：度“起于黄钟之长，以子谷秬黍中者，一黍之广度之，九十分黄钟之长，一为一分”。即以固定音高的黄钟律管的长度为9寸，选用中等大小的黍子，横排90粒为黄钟律管之长，100粒恰合一尺。律管容积为容量单位一龠，10龠为合，10合为升，一龠之黍重12铢，24铢为两，使度量衡三者建立在物理量的自然基准之上。这在当时是很先进的。《汉书·食货志》记有“黄金方寸而重一斤”。《后汉书·礼仪志》中有：“水一升，冬重十三两。”清康熙年间规定以金、银等金属作为长度和重量的标准，后发现金属纯度不高影响标准精度而改用一升纯水为重量标准。这种利用重量确定度量衡单位的方法在世界度量衡史上也占有一定地位。
商鞅方升
国际公制在中国的推行明清两代采用营造、库平度量衡制。清乾隆帝接受西方科学技术，在钦定《数理精蕴》中对度量衡详加考订，并用万国权度原器与营造尺、库平两进行校验。营造尺相当于米制32厘米，库平两约合37.3克。
光绪三十四年（1908），清廷拟订划一度量衡制和推行章程。商请国际权度局制造铂铱合金原器和镍钢合金副原器，次年制成运回中国。1928年，中华民国政府公布度量衡法，规定采用“万国公制”为标准制，并暂设辅制“市用制”作为过渡，即1公尺为3市尺，1公升为1市升，1公斤为2市斤。改革后的市制适应民众习惯，又与公制换算简便，逐渐为民众接受，1949年后，市用制通行全国。1984年，国务院发布命令，采用以国际单位制为基础，同时选用一些非国际单位制单位的中华人民共和国法定计量单位（简称法定单位）。自1991年1月1日起，法定单位成为中国唯一合法的计量单位。