Van oorsprong is de Klezmermuziek gespeeld door Joden uit Oost-Europa (Polen, Rusland, Roemenië, Moldavië). Rond de eeuwwisseling zijn velen van hen geëmigreerd naar Amerika, waardoor de muziek veel invloeden van onder andere de jazz onderging.

Het woord Klezmer is afgeleid van de Hebreeuwse woorden "klei" en "zemer", waardoor het kan worden vertaald als "instrument dat zingt". In Oost-Europa waren de Klezmerorkesten vaak rondtrekkende muzikanten die op de (week durende) bruiloften en andere feesten speelden. Deze muzikanten werden Klezmorim genoemd. De liedjes die gezongen werden, waren in het Jiddisch, een mengeling van het Hebreeuws en Duits, waardoor deze liedjes ook door ons nog wel te volgen zijn. Vanuit het Jiddisch zijn een groot aantal woorden in het Nederlands opgenomen (denk maar eens aan goochem, Mokum, gajes, poen,...).