История Аннинского наградного оружия восходит к годам, когда будущий российский император Павел I награждал орденом Анны (тогда существовала единственная степень) своих приближённых без ведома матери, императрицы Екатерины II. Чтобы императрица не увидела знаков ордена, он велел сделать их маленькими и крепить на внутренней стороне эфеса шпаги. Исторический анекдот свидетельствует, что один из награждённых доложил Екатерине II о новом типе ордена, но она обратила всё в шутку и решила не замечать проделки сына.
После занятия российского престола Павел I сохранил знак на оружие как 3-ю степень государственного ордена Св. Анны. Выглядел он как маленький круглый медальончик с красным крестом внутри красного кольца. За 4 года своего царствования Павел пожаловал Аннинское оружие (или другими словами орден Св. Анны 3-й степени) 890 офицерам.
В 1815 году сын Павла I, Александр I, добавил ещё одну степень, сместив Аннинское оружие в 4-ю степень.
В статуте ордена Св. Анны 1829 года оговорено, что знак 4-й степени можен носиться на любом типе офицерского холодного оружия. По этому статуту офицер мог разместить на эфесе Аннинского оружия надпись «За храбрость».
В период Крымской войны 1853—1856 годов вышел Указ от 19 марта 1855 года, по которому для видимого отличия к 4-й степени полагался темляк (ленточное украшение) на оружие по цвету Аннинской ленты.
В 1859 году вышло постановление, которое определило Аннинское оружие для награждения обер-офицеров, то есть от прапорщика до капитана включительно. Однако во время Первой мировой войны бывали случаи, когда им награждали и генералов, в особенности если у награждаемого уже были все старшие по статусу ордена, а Аннинского оружия не было.
В 1913 году награждённые Золотым Георгиевским оружием получили право прикреплять к нему маленький Георгиевский белый крестик. При этом кавалер Св. Анны 4-й степени мог одновременно крепить на том же оружии Аннинский красный крестик.
