Han flyttede allerede som barn til den danske provins, idet hans far, der var militær embedsmand, blev udstationeret først i Jylland og siden hen i Odense.

I Odense fik Lumbye sin første egentlige musikundervisning og opnåede som 14-årig at blive hornist i det lokale regimentsorkester. Året efter fik han svendebrev som udlært trompeter, og som 19-årig vendte han tilbage til sin fødeby København, hvor han i 1829 fik stilling som trompeter i den kongelige hestgarde. Ved siden af dette arbejde var Lumbye i 1830rne en flittig musiker i Københavns Stadsmusikantorkester, og fra disse år stammer hans tidligste bevarede dansekompositioner.

I 1839 samlede han sit eget orkester. Inspirationen til dette skridt fik han efter at have overværet en række koncerter i København af et musikselskab fra Steiermark i Østrig, hvor Johann Strauss d.æ. og Joseph Lanners nye dansemelodier for første gang lød i Skandinavien.

Med sin egen første Concert à la Strauss på det fashionable Raus Hotel (det senere Hôtel d’Angleterre) i København den 4. februar 1840 indledte Lumbye for alvor sit livslange virke som Danmarks og Skandinaviens ubestridt førende dansekomponist. Da Tivoli tre år senere åbnede sine porte i København, fik Lumbye som leder af koncertsalens orkester det endelige og faste holdepunkt for sin lange karriere som komponist og dirigent. For dette orkester komponerede han gennem de næste tredive år omtrent 700 danse, først og fremmest polkaer, valse, og galopper – den sidste genre blev nærmest synonym med hans navn. Med disse enkle og populære musikalske danseformer skabte Lumbye i Tivoli en særlig dansk version af dansemusikken, som er løftet over i symfoniorkestrets verden. Samtidig komponerede han en mængde værker til ære for tidens nyeste tekniske opfindelser og landvindinger, talrige orkesterfantasier, mere end 25 ballet-divertissementer, sange og teatermusik.

En lang række udenlandske tournéer til Hamburg, Berlin, Wien og Paris (1844-46), Skt. Petersborg (1850) og Stockholm (1860) bragte Lumbye international anerkendelse og berømmelse.