计量的起源是很早的，自从人类使用劳动工具从事简单的生产劳动时起，就开始进行计量。最初，还没有计量单位或量具，只是把要测定的物体同自己身体的一部分作比较，如用手指张开的距离。或双手伸开的长度去量物体的长，用一把或一捧来计量体积容量等。以后由于生产和交换的发展，出现了计量单位和量具。
早在4000多年以前，出现了用实物来表示计量单位。例如，古埃及最早的长度计量单位——腕尺，这是以肘至手指尖的长度为基础的。十世纪时，英国国王以自己拇指关节之间的长度定为一英寸，以自己的脚长定为一英尺，至今在英语里“脚”和“英尺”是同一个词（foot）。
我国古代的度量衡单位也是取自自然物。早在公元前两千多年就开始用一黍的宽度作为一分，十分作为一寸，百分作为一尺。汉代书籍（如《孔子家语》）有“布指知寸，布手知尺，舒肘知寻”的记载，说明古代曾把手指顶端一节的长度定为一寸，把大拇指与中指张开（即一拃）的长定为一尺，把两臂伸开的长八尺作为一寻。（据考证，周朝一尺长约20厘米，大致相当于一拃的长度）
在计量时间方面，最初人类是根据自然界的一些长时间重复变化的现象，特别是太阳的升落，月亮的圆缺，给人类提供了计量时间的标准，逐渐形成了日、月、年的概念。公元前2000年左右，古代埃及根据天狼星出现的间隔就发明了太阳历，把每年分为3季，共12个月，每月30天，年终加5天节日，共365天。公元前两千年代初，古巴比伦人已测出月亮的持续时间是29日12时44分3秒，与现代天文学所测定的数据只差1/3秒。他们根据月亮的圆缺，制订了太阴历，每月定为29日或30日。
由于古代依据自然物来确定计量单位，缺乏合理性，再加上各国各地的计量制度不同，在交往上造成了很大的不便和困难。早在十七世纪，法国就有些科学家提出改革和统一计量制度的想法。1791年法国国会决议采用科学院的建议，取通过巴黎的地球子午线的四千万分之一作为长度的基本单位，并称作米。1792年由法国科学家对敦克尔克至西班牙巴赛伦那之间地球子午线的长度进行了精密的测量。1799年全部测量工作完成后，制出了米和千克（公斤）的标准原器。
米制虽然比历史上的各种计量制度先进，但是后来发现米所定义的长度有误测，而且随着科学技术的发展，从米制派生出一些计量单位，彼此之间缺乏科学的联系，给科学和生产带来不少麻烦。同时，有些国家还使用各自的计量制度，严重妨碍国际间的交往。1948年第九届国际计量大会提出，创立一种简单而科学的使所有米制公约签字国均能采用的实用单位制。1960年第十一届国际计量大会上决议将这种单位制命名为“国际单位制”，国际符号为SI，并规定了词头、导出单位及辅助单位。1971年第十四届国际计量大会又作了修改，以米、千克、秒、安培、开尔文、摩尔、坎德拉七个单位作为基本单位。对每个单位都给以严格的理论定义，导出单位则通过选定的方程式用基本单位来定义，使各单位间合理地相互联系起来。
1959年，我国国务院发布《关于统一计量制度的命令》，确定以米制为我国的基本计量制度，人们日常生活已经习惯通用的市制可以保留，还公布了《统一公制计量单位中文名称方案》。国际单位制创建以后，国家计量部门积极准备推行工作。1977年国务院颁布了《中华人民共和国计量管理条例（试行）》，其中第三条规定：“我国的基本计量制度是米制，逐步采用国际单位制，目前保留的市制，要逐步改革，”1978年成立国际单位制推行委员会，负责推行国际单位制的工作。1984年国务院又发布了《关于在我国统一实行法定计量单位的命令》，要求全国到八十年代末基本完成向法定计量单位的过渡，允许市制单位使用到1990年年底，从1991年元旦起，一般不允许再使用非法定计量单位。