Au sein des armées, les sous-chefs de musique participent, sous l'autorité des chefs de musique, à l'encadrement et à l'instruction des grandes formations musicales, dont la liste est fixée par arrêté du ministre de la défense, et des formations musicales des armées. Ils sont affectés dans les unités dont font partie ces formations.
Ils peuvent être appelés à participer, en raison de leur compétence, au fonctionnement d'autres services relevant d'une formation interarmées, d'une autre armée ou de tout organisme mentionné au 2° de l'article L. 4138-2 du code de la défense.