自从公元1946年世界上第一台数字电子计算机问世后的一段时期内，电子计算机的数量很少，而且非常昂贵，用户只能前往计算机房使用机器。显然，这是很不方便的。到了1954年，一种叫做收发器(Transceiver)的计算机终端出现了，人们使用这种终端首次实现了将穿孔卡片上的数据从电话线上发送到异地的计算机终端，此后，电传打字机也作为远程终端和计算机连接了。这样，用户可以在异地的电传打字机上键入自己的程序并传递给计算机，而计算机计算出来的结果又可以从计算机上传送到异地的电传打字机并打印出来。这样，计算机网络的概念(ComputerNetwork)也就诞生了。
由于当时的计算机是为了成批处理数据而设计的，因此当需要计算机与远程终端连接时，必须在计算机上增加一个接口，而且这个接口应当对计算机原来的硬件和软件的影响尽可能地小，由此而出现了线路控制器(LineController)。当时计算机上信息的传递主要依靠电话线路，而电话线本来是为传递模拟信号设计的，因此人们使用了叫做调制解调器(Modem)的专用设备来实现电话线上数字信号的传输。
随着远程终端数量的增加，为了避免一台计算机使用多个线路控制器，在二十世纪六十年代初，出现了多线路控制器，可以和许多个远程终端相连接，人们将这种最简单的计算机联机系统称为面向终端的计算机网络，这就是第一代计算机网络。在第一代计算机网络里，计算机是网络的中心和控制者，终端围绕着中心计算机分布在各处，而计算机的主要任务仍旧是进行成批处理。
电话诞生后，人们便意识到在所有用户之间架设直接的通信线路是一种极大的浪费，必须依靠交换机来实现用户之间的互连，才能避免如此可怕的浪费。一个多世纪以来，电话交换机经过了许多次的更新换代：从人工接续、步进制交换机、纵横制交换机、直到现代的程控交换机，基本上都是采用电路交换(CircuitSwitching)方式，其本质始终没有改变。从资源分配的角度观察，电路交换是预先分配信号的传输带宽，用户在开始通信之前，必须先申请建立一条从发送端到接收端的物理通道，这个申请过程一般是由拨号来完成的，只有在此物理通道建立后，双方才能进行通信。在通信的全部时间里，用户始终占有端到端的固定传输带宽。
电路交换本来是为语音通信而设计的，它对于计算机网络建立信息通道的呼叫来说，时间实在是太长了。因而，必须寻找新的适合于计算机进行通信的交换机技术。
1964年8月，巴兰在美国RC公司论分布式通信的研究报告中首先提及了存贮式转发的概念。与此同时，英国的皇家物理实验室(Royal.Physical.Laboratry)和法国的国际电子通信研究中心(Societe.Internationale.de.Telecommunications.Aeronotiques)已开始进行了计算机间的通信研究。1966年，英国皇家物理实验室的戴维斯首先提出分组交换(Packet.Exchange)的概念，并证明分组交换技术在计算机间传输命令核数据时能够表现出极大的灵活性和可靠性。
1969年2月，美国国防部高级研究计划局(Advanced.Research.Projects.Agency)的分组交换网ARPAnet建成并投入运行。
虽然最初的ARPAnet网上仅有四个节点，但计算机通信以分组交换的通信子网为中心，构成用户资源子网的计算机主机和终端都处在网络的边缘，用户不仅可以享受通信子网的资源，而且还可以享受用户资源子网的各种硬件和软件资源。从此，进入了第二代计算机网络时代，揭开了网络发展的新纪元。
由于计算机网络是一个非常复杂的系统，相互通信的两台计算机系统必须高度协调工作，而这种协调是很严格的。为了设计这样复杂的计算机网络，早在最初的ARPAnet网设计时就提出了分层的方法。分层可以将庞大而复杂的问题转化为若干较小的比较容易研究和处理解决的问题。1974年美国IBM公司宣布了它研究的系统网络体系结构(System.Network.Argument)，这个著名的网络标准就是按照分层的方法制定的。网络体系结构的出现，使得一个厂商所生产的各种设备都能够很容易地互连成网。但一旦用户购置了不同厂商的产品，则由于网络体系结构的不同而很难互相连通。针对这种情形，国际标准化组织(ISO)于1977年设立了专门的研究机构，不久便提出了一个使各种计算机互连成网的标准框架__开放式系统互连基本参考模型(OSI/RM)。从此以后，开始了第三代计算机网络的时代。
进入二十世纪八十年代以后，在计算机网络领域最引人注目的就是美国的Internet的飞速发展，目前它已经成为世界上最大的国际性计算机网络。但Internet仍然属于第三代计算机网络，因为它的网络结构仍然使用的是分层的网络体系结构，并没有使用到开放式系统互连基本参考模型。
随着人类社会的发展，网络已经与人类息息相关，按照计算机网络发展的趋势，第四代网络体系结构的出现是必然的。目前，属于第四代计算机网络体系结构的IPv6标准正在积极的制定之中，但在其到来之前，仍需有一个相当长的过程。目前需要的是在不断改变网络体系结构的前提下，用有效的技术充分利用处理器的计算能力，国外已经有很多研究机构正在沿着这个方向积极开展工作，其中，可编程网络(Active.Networking)是一个公众瞩目的热点，我们将之称为后TCP/IP协议模型，它将要引导计算机网络向主动网络体系结构方向发展。