史前阶段，由于生存竞争或血族仇杀，氏族或部落之间常会发生流血的暴力冲突，于是带有锋刃的生产工具，也被用于人类的互相残杀。这种杀人工具与生产工具不分的状况，在史前阶段曾经历了一个很长的时期。随着生产力的发展和私有制的萌发，促进了原始社会的解体，开始由部落联盟向国家过渡，部落联盟之间不断发生激烈而残酷的原始战争。反映在中国的古代传说中，最著名的是约四五千年前的涿鹿之战，以黄帝为首的北方部落联盟战胜了以蚩尤为首的南方部落联盟。原始战争日益频繁而激烈，仅用有锋刃的生产工具已不适应作战需要，促使人们开始设计和制造专门用于杀伤和防护的特殊用具，它们逐渐与一般生产工具分离开来，于是出现了专用于作战的兵器。这一变化大约发生于原始社会晚期，约在公元前2000年以前，相当于从部落联盟向国家转化的过渡阶段，也正是古代传说中发生涿鹿之战的时候。因此，传说中常把兵器的发明归功于蚩尤，或者是黄帝及其臣子，这正反映了部落联盟间的战争与兵器出现的历史联系。从考古发掘中，已获得了带锋刃的生产工具转化为兵器的资料。以重要的原始狩猎工具弓、箭为例，弓箭至少出现于距今2万年前，但是直到距今约5600年的新石器时代才出现用箭杀人的实例。如在江苏省邳县四户镇的大墩子新石器时代遗址中，发现了被骨镞射中的人体骨，镞体射入骨质深达2.7厘米；在山西、云南等地的新石器时代遗址中，也有类似实例发现。

新石器时代晚期，人们已经熟练地掌握了磨制石器的技能，能琢磨成较锋利的石质工具；同时也提高了用石质工具加工木器、骨器的技术，为制造兵器准备了工艺方面的条件。当时由生产工具转化成的兵器主要有：用于远射的木质或竹制的单体弓和装有石质或骨、角、蚌质箭镞的箭；用于扎刺的石矛或骨矛；用于劈砍的石斧、石钺；用于砸击的大木棒和石锤；用于勾砍的石戈；以及石质或骨、角质的匕首，等等。此外，可能还使用了原始的木弩，以及可以抛发石弹的“飞石索”等。同时，为抗御敌方进攻性兵器的杀伤，已经使用了原始的防护装具，主要有竹、木和皮革制造的盾，以及用藤或皮革制造的原始甲、胄。