用机械装置进行数值计算，可以追溯到前。机械计算机的前身是机械计数器，其中齿轮和角度测量起着主要作用。在中国汉代就有了自动计算里程的机械计数器计里鼓车，可以准确地对车辆的行程进行长度计算。中国东汉时代的科学家张衡在公元131年创造了世界上第一架天文仪器浑天仪，这是一个具有经纬度、南北极和黄道的天文观测仪器，它用水作为动力，使浑天仪转动一周的时间恰好与地球自转一周的速度相等。中国唐代的科学家张遂和梁公瓒在公元725年就制造出了自动天文钟，它可以根据恒星时进行报时，而欧洲最早的机械时钟则迟至公元1335年才在意大利的米兰制成。
国际上公称的世界钟表之父，就是中国宋朝元佑年间的宰相苏颂，他与韩公廉在公元1092年所发明制造的水运仪象台是用于计算时间的典型机械计数装置。水运仪象台的高度为十二米，宽度为七米，它用水作为动力，可以较准确地用来计算年、季、月、旬、日、时、刻和二十四节气，特别是苏颂在水运仪象台中发明了现在称之为钟摆的钟表核心部件锚状擒纵器的原型，比公元十四世纪欧洲早期的同类发明早了两个世纪，比公元1657年荷兰数学家惠更斯发明的时钟钟摆更早了五百六十五年。英国的科学史专家李约瑟博士经过考察后指出：“中国宋朝的苏颂把时钟机械和天文观察用的浑仪结合起来，在原理上完全成功，因此可以说他比罗伯特•胡克早六个世纪，比方霍裴更早了七个半世纪……我们必须更正的是，原来一直认定的机械钟摆是十四世纪欧洲人发明的，而事实上，更早在许多世纪以前，中国古代就已有了类似的机械钟摆了。”
各种类型的计数机械构成和奠定了机械计算机的基础。
公元1623年，德国数学家威尔海姆•什卡设计制作了第一台机械式的计算机，能够做加减法运算。公元1642年，法国数学家与物理学家布莱斯•帕斯卡发明了现代台式计算机的雏形加法机械计算机，可以自动进位，被称之为帕斯卡加法器，为了纪念这位计算机领域里的先驱，人们将第一个结构化计算机程序设计语言定名为Pascal语言。此后，德国著名数学家戈特弗里德•威廉•莱布尼茨(Gottfriend.Wilhelm.Leibniz)在公元1671年研究并改进了帕斯卡加法器，设计了能够进行乘法运算的分级计算机，并于公元1694年制造成功。
戈特弗里德•威廉•莱布尼兹的分级计算机可以进行算术的四则运算。据戈特弗里德•威廉•莱布尼兹自己说，分级计算机的研制就是从一种计里程的仪器得到启发的。戈特弗里德•威廉•莱布尼兹很认真地指出：“让一些杰出的人才像奴隶般地把时间浪费在疲劳而低效的计算上，是很不值得的，完全可以用机器替代人们进行繁琐重复的计算工作。”这一伟大的思想至今还在鼓舞着人们不断努力地探求和创造新的计算机。