据了解，潜艇最早可追溯到15－16世纪的列昂纳多·达芬奇。据说他曾构思“可以水下航行的船”，但这种能力向来被视为“邪恶的”，所以他没有画出设计图。直至一战前夕，潜艇仍被当成“非绅士风度”的武器，其被俘艇员可能被以海盗论处。
16世纪，真实意义的潜艇出现。1578年，英国数学家威廉·伯恩（WilliamBourne）著书《发明与设计》描述潜艇。1620年，首艘有文字纪载的“可以潜水的船只”（submeriblevehicles）由荷兰裔英国人克尼利厄斯·雅布斯纵·戴博尔（CorneliusJacobszoonDrebbel）建成，主要即依据前者的设计，推进力由人力操作的橹产生。但有人认为那只是“缚在水面船只下方的一个铃铛状东西”，根本不能算潜艇。1620年至1624年，它有两种改良型在泰晤士河上进行实验。2002年，BBC电视节目“BuildingtheImpossible”播出[3]，马可‧爱德华兹公司（MarkEdwards）根据当年设计图建成一艘搭载两人的戴博尔型潜艇，并成功潜航于伊顿的Dorney湖。
“可潜水船只”能够探索水下世界，但其军事价值很快就被发掘了。1648年，切斯特主教约翰·维尔金斯（JohnWilkins）著书《数学魔法》（MathematicalMagic）指出潜艇在军事战略上的优势：
1私密性：前往世界任何海岸附近，并且不被发现或被制。
2安全性：海盗和劫匪无法抢劫水下船只；无常潮汐和强烈风雨无法影响海面下25-30英尺（5-6paces）；冰和霜冻也无法危及潜艇乘员，即便在南北极海域。
3有效抵抗敌人海军，破坏和击沉水面船只。
4支援被水环绕或接近水的地方，无声无息运送补给品。
5本身作为有益的水下试验场所。
史上第一艘用于军事的潜艇出现于美国独立战争。美国耶鲁大学的大卫·布什奈尔（DavidBushnell）建成海龟号（Turtle），通过脚踏阀门向水舱注水，可使艇潜至水下6米，能在水下停留约30分钟。艇上装有两个手摇曲柄螺旋桨，使艇获得3节左右的速度和操纵艇的升降。艇内有手操压力水泵，排出水舱内的水，使艇上浮。艇外携一个能用定时引信引爆的炸药包，可在艇内操纵系放于敌舰底部。内部仅容纳一人操作方向舵和螺旋桨。1776年，海龟号企图攻击英国皇家海军老鹰号（HMSEagle），虽未获成功，但开创了潜艇首次袭击军舰的尝试。
史上第一艘成功炸沉敌舰的潜艇在美国南北战争。何瑞斯·劳升·汉利（HoraceLawsonHunley）建成汉利号潜艇，乘员八人，手摇柄驱动。其前端外伸一个炸药包，碰触敌舰即爆炸。1864年2月17日晚上9时许，它成功炸沉北方联邦的豪萨托尼克号（USSHousatonic）护卫舰，但自己却也因爆炸产生的漩涡而沉没。
潜艇发展至此，一直是由人力推进的，因此限制了潜艇的发展。而此时蒸汽机已经发明并被应用到了铁路运输和水面舰船上。蒸汽机在潜艇上的应用，推动了潜艇动力装置的发展，再加上潜艇设计者的不断努力，终于出现了以机械为动力的现代潜艇。
19世纪80年代，潜艇日益进展，各国逐渐认识其重要性。美国、英国、法国、瑞典、意大利、德国和俄国等都热衷于研发。1878年，英裔美国人约翰·飞利浦·霍兰投入此项工作。1900年4月，美国政府购买其研制的潜艇霍兰九号，并编入美国海军。从此潜艇正式成为一种海军舰艇。1898年，法国人马克西姆·劳伯夫首创以双壳体结构建成了“一角鲸号”，储存压舱水在两层船壳之间，优点是浮力大增。这后来成为苏俄潜艇的一种类型。
18世纪末到19世纪末是潜艇研制的重要时期。1801年，美国人R.富尔顿建造的“鹦鹉螺”号潜艇，艇体为铁架铜壳，艇长7米，携带两枚水雷，由4人操纵。水上采用折叠桅杆，以风帆为动力。水下采用手摇螺旋桨推进器推进。19世纪60年代，美国南北战争中，南军建造的“亨利”号潜艇长约12米，呈雪茄形，用8人摇动螺旋桨前进，航速4节，使用水雷攻击敌方舰船。1864年2月17日夜，“亨利”号用水雷炸沉北军战舰“豪萨托尼克”号，首创潜艇击沉军舰的战例。1880年9月，中国在天津建成第一艘潜艇，艇体形如橄榄，水下行驶，十分灵捷，可于水下暗送水雷，置于敌船之下。
早期的潜艇都是使用人力推进的，航速很慢。1863年，法国建造了“潜水员”号潜艇，使用功率58.8千瓦（80马力）的压缩空气发动机作动力，速度为2.4节，能在水下潜航3小时，下潜深度为12米。1886年，英国建造了“鹦鹉螺”号潜艇，使用蓄电池动力推进，航速6节，续航力约80海里。1897年，美国建造了“霍兰”Ⅵ号潜艇，水面使用33千瓦（45马力）的汽油机动力装置，航速7节，续航力达到1000海里；水下使用电动机为动力，航速5节，续航力50海里，这是潜艇双推进系统的开端。
早期潜艇使用的武器，主要是艇体上挂带的定时引爆炸药包或水雷。1866年，英国人R.怀特黑德制成第一枚鱼雷。1881年，T.诺德费尔特和G.加里特建造的“诺德费尔特”号潜艇，首次装备鱼雷发射管；同年，美国建造的“霍兰”Ⅱ号潜艇安装有能在水下发射鱼雷的鱼雷发射管，这是潜艇发展史上的一项重要发展。
早在19世纪50年代，法国海军的一名工程师就提出了改装机械动力潜艇的建议，许多人也进行了这方面的尝试。
1863年，法国建成了一艘“潜水员”号潜艇。艇体模仿海豚的外形设计，长42.67米，排水量420吨。使用一部功率为59千瓦（80马力）的蒸汽机作动力，速度为2.4节，能在水下潜航3小时，下潜深度为12米。由于“潜水员”号采用了蒸汽机作动力，尺寸超过了当时所有的潜艇，成为了20世纪之前最大的一艘潜艇。虽然“潜水员”号潜艇的动力装置有了质的飞跃，但它却受当时设计水平的限制，当增加压载使其浮力等于零时，潜艇下潜就失去了控制，水下航行的稳定性很差。另外潜艇在水下航行时需要大量的空气，而这在当时几乎是无法解决的问题。于是“潜水员”号最终以失败而告终。
蒸汽机作为潜艇的动力失败后，潜艇设计师们不得不另辟蹊径，为潜艇寻找更好的动力装置。1886年，英国建造了一艘使用蓄电池动力推进的潜艇（也被命名为“鹦鹉螺”号）成功地进行了水下航行，航速为6节，续航力约80海里。从此电动推进装置为潜艇的水下航行展现了广阔前景。
但对现代潜艇的发展作出过最大贡献的，当属美国潜艇设计师――约翰·霍兰。
约翰·霍兰1841年出生在爱尔兰利斯凯纳镇，父亲是英国海岸警卫队的一名雇员。父亲的职业使霍兰从小就对海洋及战舰充满了好奇。中学尚未毕业时，父亲不幸病故，年轻的霍兰被迫结束学业，到一所学校担任理科教员，以挑起家庭生活的重担。在此期间霍兰一边工作，一边设计潜艇。1873年，霍兰辞去了教师工作，带着他的潜艇设计图纸到了美国。在美国他一边在一个都教会学校教书，一边完善着他的潜艇设计图。
1875年，霍兰将建造新型潜艇的计划送交美国海军部。但是美国海军对3年前支付5万美金建造的一艘名为“智慧之鲸”的小型手操潜艇的沉没仍然记忆犹新，因此断然拒绝霍兰的计划。遭到拒绝的霍兰却没有因此而却步，他很快就得到了流亡美国的由爱尔兰一些革命者组成的“芬尼亚社”的大力资助。在“芬尼亚社”的支持下，经过3年时间的努力，霍兰终于在1878年将自己的第一艘潜艇送下了水。
该潜艇被命名为“霍兰－Ⅰ”号，是一艘单人驾驶潜艇。艇长5米，装有1台汽油内燃机，能以每小时3.5海里的速度航行。但由于潜艇水下航行时内燃机所需空气的问题没有解决，故潜艇一潜入水下发动机就停止了工作。虽然这是一艘不成功的潜艇，但霍兰却在它的身上积累了经验，为下一步建造新的潜艇打下了基础。
这时，“芬尼亚社”对霍兰的潜艇研制提出了要求：所建造的潜艇，大到足以能有效地进行作战，小到使其能够塞进特制的商船船舱。这种商船要求可以装成民船的模样横渡大西洋。当遇到敌舰后，特殊商船将潜艇放出以攻击敌人。按照这一特殊要求，1881年，霍兰建造成功他的第二艘潜艇，命名为“霍兰－Ⅱ”号（也称“芬尼亚公羊”号）。该艇长约10米，排水量19吨，装有一台11千瓦的内燃机。为解决纵向稳定性问题，霍兰为潜艇安装了升降舵。同时他还在艇上安装了一门加农炮，使得“芬尼亚公羊”号潜艇既能在水下发射鱼雷，又能在水面进行炮战。“芬尼亚公羊”号的建成给公众以极大的鼓舞，在潜艇发展史上也被认为是一个重要的里程碑。
19世纪80年代末期，潜艇的发展引起了更多国家的兴趣。1893年，长约45.7米、排水量为266吨的“古斯塔夫·齐德”号潜艇在法国下水了。它以电动机带动螺旋桨推动。在当时各国所出现的潜艇中，它是最先进的一艘。
“古斯塔夫·齐德”号潜艇的成功促使霍兰更加努力了。但就在霍兰全力以赴投入他的第三艘潜艇制造之中时，“芬尼亚社”的一些成员对霍兰无终止的试验丧失信心，并在一天黑夜将“芬尼亚公羊”号以及建造中的第三艘潜艇偷偷地运走了。从此霍兰与“芬尼亚社”分道扬镳。
失去了“芬尼亚社”的资助，霍兰只得暂时停下潜艇的研究而到一家汽枪公司担任了描图员的工作。但是不屈的科学家永远不会为困难所吓倒。在朋友们的大力支持下，他兴办了“肛鱼潜艇公司”。这时他与炮兵上尉扎林斯基合作，又建造了他的第四艘潜艇“扎林斯基”号。1886年，当“扎林斯基”号建成下水时，因滑道倒塌而全艇被毁。“扎林斯基”的失败，反而使霍兰有了暂时的喘息余地。
几乎就在霍兰失败的同时西班牙却有一个名叫艾萨克伯尔的海军上尉于1889年设计了一艘由时机推进的潜艇。不幸的是因为艾萨克伯尔与上司不和，其上司竟然不顾国家利益而否定了他的计划。
美国政府得知这一消息后，为了在与西班牙的竞争中取胜，由海军部于1893年举办了一次潜艇设计大赛。霍兰大这次大赛中技压群芳，荣登榜首。大赛的胜利使霍兰于1895年接到了制造一艘潜艇的定货单，并从美国海军部得到了15万美元的经费。于是霍兰又开始了他的第五艘潜艇的设计。
为了建造一艘像样的潜艇，霍兰从一开始就注意解决那些潜艇史上阻碍潜艇发展的问题。为此他反复研究并数易方案，终于建成了他的第五艘潜艇――“潜水者”号。该艇长26米，拥有水面航行的推进装置——蒸汽机动力装置和水下潜航的推进装置——电动机。“潜水者”号由此成为了潜艇双推进系统的鼻祖。但是美国海军部出于战争的需要，在“潜水者”号建造期间，就要求霍兰能够使“潜水者”号用于水面作战。但霍兰却认为，按照这种要求是不会制造出满意的潜艇的。于是霍兰放弃了“潜水者”号的建造工作，归还了海军部的经费，开始用自己的钱来设计建造一艘新潜艇。
1897年5月17日，时年56岁的霍兰终于成功地制造出了“霍兰－Ⅵ”号潜艇。该艇长15米，装有33.1千瓦（45马力）汽油发动机和以蓄电池为能源的电动机，是一艘采用双推进的最新潜艇。在水面航行时，以汽油发动机为动力，航速可达每小时7海里，续航力为1000海里。在水下潜航时，则以电动机为动力，航速可达每小时5海里，续航力50海里。该艇共有5名艇员，武器为一具艇首鱼雷发射管（有3枚鱼雷）和2门火炮（向前、向后各1门），火炮瞄准靠操纵潜艇艇体对准目标。该艇能在水下发射鱼雷，水上航行平衡，下潜迅速，机动灵活。这是霍兰一生中设计和建造出的最后一艘潜艇。为了纪念这位伟大的先驱者，人们将其称为“霍兰”号。双推进系统在该艇上的运用，使这艘潜艇取得了潜艇发展史上前所未有的成功，从而奠定了霍兰作为“现代潜艇之父”的地位。
但是霍兰的成就并没有给他本人带来任何好处。由于美国海军部一些官员的偏见和挑剔，这艘潜艇不仅未被海军部采用，反而使这位大发明家受到了恶毒的嘲讽。无情的打击使时年63岁的霍兰愤然辞职。从此一代潜艇巨匠被迫停止了其心爱的事业，并最终因肺炎病逝，终年73岁。
尽管“霍兰”号潜艇取得了辉煌的成就，但在19世纪末20世纪初，法国在潜艇这一领域也同处领先地位。1899年，由法国科学家劳贝夫于设计的“纳维尔”号潜艇在法国下水。
“纳维尔”号与其他潜艇不同处在于，该艇在其内壳之外又包上了一层外壳。这使得“纳维尔”号既有一个酷似鱼雷艇似的外壳，又有一个按照潜艇要求设计的内壳，艇员及所有装备都装在耐压的内壳之中。内外壳之间的空间被充作压载水柜，并以此控制潜艇下潜和上浮。当该艇排除压载水柜中的水之后，即可像鱼雷艇一样具有良好的适航性，使得其水面航行的速度达每小时11海里，续航力为500海里；当压载水柜中注满水之后，“纳维尔”又将与早先潜艇一样，它的水下短距离航速可达每小时8海里，即使在水下航行数小时，其水下航速也可达每小时5海里。
不过也有一种意见认为，双层壳体结构并非起源于“纳维尔”潜艇，而是由美国青年西蒙·莱克首创。19世纪90年代，西蒙·莱克由于受了法国著名科普作家儒勒·凡尔纳的科幻小说《海底两万里》的影响，单枪匹马地投入到潜艇的研究之中。
莱克从亲戚那里借来一笔钱，经过努力，于1893年建成了他的第一艘潜艇——“小亚古尔爸爸”号。“小亚古尔爸爸”号也许是潜艇史上自“海龟”艇以来最不像样的潜艇。它看上去像一个特大的木柜子，长4.2米，高1.5米。艇体以松木板内衬帆布垫建造而成。艇体上方有个小舱盖，艇底安有三个木头轮子（前面一个，后面两个）。轮于是由手摇曲柄带动行走的，“小亚古尔爸爸”艇与其他潜艇相比独具匠心。它没有用于注排水的羊皮口袋或水泵、水箱等，而是采用装载足够重的压载物使之沉到海底，接着在海底用轮子滚动推进，如果要上升到海面，只要把压载物抛掉，艇体即可上浮。
不过莱克最初建造潜艇并非为了军事目的，而完全是被迷人的海底生物所吸引。他从建造“小亚古尔爸爸”一开始，就想到能从潜艇中走出来，以便采集海底生物。所以他在潜艇中安装了空气压缩设备，并设置了一个空气闸舱。莱克使压缩空气设备所产生的空气压力与艇外海水压力相等，这样打开空气闸舱的舱门，人们便可以穿着潜水服从艇中走出来，而海水却不会涌进闸舱。人们将这种使海水不能涌进艇内而人能从艇的舱口自由进出的闸舱门叫做气门或水门。在气门的帮助下，莱克和他的伙伴，在迷人的纽约湾海底，采集了大量的海洋生物，度过了许多愉快的时光。
之后，莱克开始对“小亚古尔爸爸”号不断地进行改装，并于1897年完工。改装后的潜艇命名为“亚古尔”号。该艇无论在水上或水下航行，都由一台22千瓦（30马力）的汽油发动机来推动前进。由于汽油发动机工作时需要空气，所以莱克在艇上装有可伸出水面的吸气管和排烟管，同时取消了固体压载物，而用压载水箱来带动潜艇的沉浮。为了改善潜艇的适航性，莱克又在吸气管和排烟管外包上一层外壳，使“亚古尔”号外形类似于现代潜艇上层建筑（即潜艇的指挥台）的第二层艇壳。经过改装后的“亚古尔”号潜艇的上浮与下潜都是较为稳定的，并能在一个适当的深度上将内燃机水下工作时所用的通气管伸出水面，从而延长了潜艇水下滞留时间。
1898年，“亚古尔”号潜艇仅靠自身的动力，从诺福克航行到了纽约，成了第一艘在公海远航的潜艇。莱克的第二艘潜艇“保护者”号也于1901年下水。他很想将潜艇奉献给自己祖国，用于对敌作战。莱克潜艇的最大特点就是艇员可以在水下自由出入潜艇，因此完全可派人进行水下作战、扫雷和布雷。但美国海军部却拒绝了莱克的好意。莱克只好到国外去寻求他自己的位置，从而埋没了一代潜艇发明家的才华。
19世纪的最后10年中，潜艇已成为至少是具有潜在威慑力量的武器了。但是由于当时的英国、美国等海军大国对潜艇仍持怀疑态度，总认为潜艇只不过是弱小国家用于偷袭的武器，为此阻碍了潜艇的发展。但是当1898年法国的“古斯塔夫·齐德”号潜艇用鱼雷击沉了英国战列舰“马琴他”之后，英国人终于醒悟了，强烈要求英国政府赶快行动，以抗衡法国人正以惊人速度建造潜艇的海上新威胁。同样德国和俄国也在无意之中领悟到潜艇可能将成为一种实用性武器而投入到建造潜艇的热浪中。在第一次世界大战前几年的时间里，潜艇终于愈造愈大，愈造愈好，并且以前所未有的速度增加着。但是由于潜艇发展到此时，仍然开不快、行不远，鱼雷带得又很少，更因为不能在水下长期潜航，所以它所担负的只能是保护本国海岸、在基地附近的巡逻的任务。
20世纪初，潜艇装备逐步完善，性能逐渐提高，出现具备一定实战能力的潜艇。这些潜艇采用双层壳体，具有良好的适航性，排水量为数百吨，使用柴油机－电动机双推进系统，水面航速约10～15节，水下航速6～8节，续航力有明显提高；武器主要有火炮、水雷和鱼雷。第一次世界大战前，各主要海军国家共拥有潜艇260余艘，成为海军重要作战兵力之一。
