从1952年起，新中国科学界已有人开始注意电子计算机事业，新建立的中国科学院数学研究所就成立了中国第一个计算机科研小组。
1956年在党中央向科学进军的号召下，周恩来总理亲自主持制订了新中国的十二年科学技术发展规划，并成立了由陈毅、聂荣臻、黄敬、李强等国家领导人挂帅的科学技术发展领导小组，计算机与电子学、半导体、自动化技术被列为十二年科学技术发展规划中的紧急措施。1956年4月，毛泽东主席在中南海接见了参加十二年科学技术发展规划的科学家们，并批示“大力协同”。
根据十二年科学技术发展规划的第四十一项，中国科学院组建了中国科学院计算技术研究所筹备委员会，华罗庚出任该委员会主任。1956年6月19日，华罗庚主持了第一次会议，会议决定按先集中后分散的原则，由中国科学院、解放军总参三部、第二机械工业部第十工业局(即后来的第四机械工业部，亦即电子工业部)和高等院校计算技术方面的专家组成了中国科学院计算技术研究所筹备委员会，办公地点设在北京西苑大旅社(今天的北京西苑饭店)三号楼，并于1958年建立了中国第一个计算技术研究所。1958年2月在北京西郊建成的中国科学院计算所大楼正式启用，第一任所长由原国家建材部部长闫沛霖担任并走马上任。
1957年下半年，根据前苏联专家提供的图纸，中国科学院计算技术研究所与第二机械工业部第十工业局所属北京有线电厂组织技术力量，开始研制中国的第一台电子计算机。1958年7月成功地仿制成103型小型通用电子计算机DJS-1，1959年9月又研制成功技术指标在当时相当先进的104型大型通用电子数字计算机。这两种电子计算机均使用电子管作为电子元件，实现了中国电子计算机的零的突破。
与此同时，中国科学院和有关部门又完成了中国自行设计的第一台107型通用电子计算机。到了二十世纪六十年代初期，中国计算机的研制、生产、教学和应用都得到广泛开展，逐渐在许多部门和地区建立了计算机的研制和应用单位，许多高等院校建立了计算机系或专业，并逐步发展建立了中国自己的计算机企业并开始工业化生产，当年第四机械工业部的计算机专业工厂738厂生产了多台103型和104型计算机。至此，中国的计算机工业雏形已经出现。
1965年5月，中国试制成功第一台晶体管通用电子计算机，之后在北京、上海、天津也相继研制成功了一批晶体管计算机，主要机型有109-乙、X-2、DJS-6～9、DJS-21、109-丙、411B-Ⅱ、411B-Ⅲ等十多种机型，其中的DJS-6型计算机生产了一百多台，411B-Ⅱ和411B-Ⅲ也生产了一百多台。此外，由于其中的109-丙型计算机性能较高，可靠性好，从1967年至1984年，平均每年提供有效机时达7000小时以上，使用率高达95％，因此被授予“功勋计算机”的荣誉称号。
1964年，小规模集成电路在苏州研制成功，从此，中国开始着手研制集成电路计算机。1971年试制成功中国第一台集成电路电子计算机TQ-16，1973年研制成功两种每秒钟可处理一百万条指令的大型通用数字计算机DJS-11、DJS-111、DJS-112与709型等电子计算机。到了1974年，北京大学和清华大学联合在位于昌平西北部的“200号基地”研制成功DJS-100系列计算机，包括DJS-130、DJS-142等机型，并在国内十三家工厂投产，从此开始了中国第一批系列化计算机的工业化生产。其中，DJS-100系列计算机发展最好，共有十五个机型，性能与国际上同类产品持平。DJS-100系列机供给用户一千三百五十四台并广泛用于国民经济建设的各个领域，发挥了显著的效益。
进入二十世纪八十年代后，中国又自行研制成功巨型计算机，先后问世的有757型大型计算机和银河系列巨型计算机，其中的757型大型计算机是由中国科技人员自行设计、元器件和设备完全立足于国内的第一台大型向量计算机，向量运算速度达每秒钟一亿次。1983年12月国防科技大学研制成功银河Ⅰ号巨型计算机，运算速度为每秒钟一亿次。之后，银河Ⅱ号巨型机研制成功，可达到每秒钟十亿次的运算能力。1993年10月中国又研制成功了曙光Ⅰ号巨型计算机，这是中国第一套用微处理器芯片构成的全对称多处理机系统，计算速度可以达到每秒钟十六亿次，挤身于世界大规模并行处理机的先进行列。1995年5月曙光1000号大规模并行计算机系统诞生。1996年银河Ⅲ号并行巨型计算机研制成功，它具有分布式共享存贮机制，峰值性能为每秒钟完成一百三十亿次浮点运算。1999年1月，曙光2000I型超级服务器研制成功，它的运算速度达到每秒钟二百零三亿次。而中国科学院沈阳计算机研究所研在1996年制成功的64位超级小型计算机系统，则是当时世界上最先进的小型机系统，使中国的小型计算机研制领域跃入了国际先进行列。
757型大型计算机和银河、曙光系列巨型计算机的研制成功，标志着中国计算机工业的技术水平踏上了一个新的台阶，成为国际上少数几个能够研制生产巨型计算机的国家之一，为促进国家经济建设和打破西方资本主义的国际垄断与封锁起到了重要的作用。目前，银河Ⅲ号计算机被应用在气象预报、地震数据处理和尖端科学计算领域。