在记谱法产生以前，欧洲的音乐都是靠口头传授的。在祭祀舞蹈的进行中，领头的歌手成了最早的指挥，他为了向歌手们提示旋律的进行方向，便用手在空中“画”出旋律线来。这时指挥的作用主要是给大家指出旋律由低音到高音，或由高音到低音的进行，这种指挥法，被称为“手势术”。我们可以想象，这种“手势术”既不方便又不准确，于是便产生了线谱。这种指挥主要是为了唱出旋律。希腊时代的指挥，有的人用脚，也有的人用头；有的人用单手指挥，也有的人喜欢用双手指挥；有的人在风琴旁边钉上一块铁板敲着指挥。17世纪一些歌剧的指挥，常坐在钢琴旁用木棍敲击桌子，一上一下像现在的节拍器一样，而这种声音和用斧子砍树的声音差不多，人们就管指挥者叫“伐木者”。
专职的指挥大约出现在19世纪前，那时候，指挥合唱队的人手里拿一卷谱纸，依照歌曲的旋律而晃动。指挥乐队的人则大多使用铁质手杖敲击地板。1867年，法国音乐家卢利在一次为法王路易十四的演奏中，手杖击伤了自己的脚，使他的风湿病发作，脚上的伤口恶化，最终不幸丧命。如今，在有些军乐队和仪仗队中仍可看到充当指挥的手杖，不过指挥者不再用指挥杖敲击地面，而是向上挥动。
1894年，德国作曲家威伯首先创用了指挥棒，在音乐界大受赏识，推广开来，沿用至今。从此，指挥超越了简单的“划拍子”的原始阶段，而跨进了比较严谨的新阶段。有了音乐指挥，可随时启发演唱者的感情和调整演唱、演奏的情况，使乐曲显得有声有色。15世纪罗马西斯丁教堂圣乐团，首先发明把总谱卷成棒状来指挥教徒们唱歌，这可以算作“指挥棒”的雏形吧。
