Young wurde in Savannah, Georgia, geboren und wuchs in Richmond, Virginia, und Washington D.C. auf. Schon als Kind spielte er Trompete und Schlagzeug, doch als er 1928 seine professionelle Karriere begann, war er Posaunist. Zu seinen frühen Engagements zählten Auftritte mit Booker Colemans Hot Chocolates, den Hardy Brothers, Elmer Calloway und Tommy Myles. Bei Myles erhielt er den Spitznamen „Trummy“, der ihn sein Leben lang begleitete.
Von 1933 bis 1937 war er Mitglied von Earl Hines’ Orchester; anschließend spielte er von 1937 bis 1943 im Orchester von Jimmie Lunceford und landete mit „Margie“, in dem er auch sang, einen Hit bei Decca Records. Zusammen mit Sy Oliver schrieb er „’Tain’t What You Do (It’s the Way That You Do It)“, ein Hit für Lunceford und Ella Fitzgerald im Jahr 1939. Zu seinen weiteren Kompositionen gehört „Easy Does“. „It“ (1939; zusammen mit Oliver geschrieben) und „Trav’lin’ Light“ (1942; zusammen mit Jimmy Mundy geschrieben, Text von Johnny Mercer).
Bebop bereitete Young keine Schwierigkeiten, obwohl er seinen Stil über die Jahre kaum veränderte. Am 9. Januar 1945 trat Young mit Gillespie auf der Originalversion von „Salt Peanuts“ sowie mit „Be-Bop“, einer modernisierten Bearbeitung von „I Can’t Get Started“, und Tadd Damerons „Good Bait“ auf und fühlte sich dabei sichtlich wohl. In diesem Jahr stellte Young seine Vielseitigkeit eindrucksvoll unter Beweis. Er spielte in Boyd Raeburns Orchester „A Night In Tunisia“, war Mitglied der Benny Goodman Big Band (und spielte unter anderem ein Solo in „Gotta Be This Or That“), nahm mit Ensembles unter der Leitung von Georgie Auld, Johnny Bothwell und Al Killian auf, wirkte bei V-Disc-Aufnahmen mit Roy Eldridge mit und leitete seine eigene Swing-Session.
1946 nahm er auf mit Benny Carters Big Band, der Klarinettist Tony Scott, Buck Clayton, Illinois Jacquet, Tiny Grimes, eine Reunion-Session mit Jimmie Lunceford (inklusive einer Neuaufnahme von „Margie“), Billy Kyle und zwei eigene Sessions. Außerdem tourte Young mit Norman Granz’ Jazz At The Philharmonic und spielte mit Billie Holiday, Lester Young, Buck Clayton, Coleman Hawkins und Buddy Rich zusammen.
Trummy Young war in dieser Zeit offensichtlich sehr gefragt. 1947 tourte er erneut mit JATP und wirkte an einigen Jam-Session-Aufnahmen aus Los Angeles mit. Nach einer Aufnahme mit Gerald Wilsons Big Band verschwand er jedoch für fünf Jahre komplett von der Bildfläche. Youngs Verschwinden war auf seine Heirat zurückzuführen; seine Frau stammte aus Hawaii, und er zog dorthin. Der Posaunist arbeitete freiberuflich und hatte bald seine eigene Band, mit der er Swing und Dixieland spielte und das Klima und die Umgebung genoss. Doch 1952 änderte sich sein Leben erneut, als ihm die Möglichkeit geboten wurde, der Louis Armstrong Band beizutreten. Er war Mitglied der All-Stars und blieb zwölf Jahre lang. Er trat mit Armstrong beim neunten Cavalcade of Jazz-Konzert im Wrigley Field in Los Angeles auf.
Während seiner Zeit bei den All-Stars wirkte Young im Musicalfilm „High Society“ (1956) mit. Er spielte in der Universal-International-Biografie „The Glenn Miller Story“ (1954) mit und tourte unermüdlich um die Welt. Er war an fast allen Erfolgen von Louis Armstrong in dieser langen Zeit beteiligt, darunter die Tribute-Alben für W.C. Handy und Fats Waller, die Aufführung von „St. Louis Blues“ mit den New Yorker Philharmonikern, alle Welttourneen von „Ambassador Satch“, Armstrongs Aufnahmen für „Musical Biography“, die Timex All Star Jazz-Fernsehspecials, das Album mit Duke Ellington und den All-Stars, Dave Brubecks Musical „The Real Ambassadors“ sowie die Originalversionen von „Mack the Knife“ und „Hello, Dolly!“.
Trummy Young war außerhalb der Louis Armstrong All-Stars nicht zu hören. Er spielte sehr oft bei All-Stars, aber es gab einige Ausnahmen. Er war maßgeblich an den berühmten Buck Clayton Jam Sessions vom 31. März und 13. August 1954 beteiligt und spielte ein mitreißendes Solo auf „How Hi The Fi“, das alle begeisterte. Er wirkte 1957 an einem posthumen Jimmie-Lunceford-Tribute-Projekt unter der Leitung von Billy May mit, wirkte an einem Album der Lawson-Haggart Band („Boppin’ At The Hop“) mit und spielte 1958 mit Teddy Buckner beim Dixieland Jubilee in Los Angeles. Am häufigsten war er jedoch mit Armstrong verbunden.
Kurz nachdem „Hello Dolly“ ein Hit wurde, beschloss der 52-jährige Posaunist, seine Tourneen endgültig aufzugeben und sich in Hawaii niederzulassen. Louis Armstrong bedauerte seinen Weggang sehr. In seinen letzten 20 Lebensjahren spielte Young mit verschiedenen Bands in Hawaii, leitete zeitweise eigene Gruppen und ging gelegentlich auf Europatourneen (unter anderem 1978 mit Chris Barber), bevor er nach Hawaii zurückkehrte. Für besondere Auftritte und Jazzpartys reiste er regelmäßig aufs Festland.
Trummy Young blieb bis zuletzt aktiv. Im Juli 1984 trat er neben Billy Butterfield, Kenny Davern und Eddie Miller bei der Peninsula Jazz Party auf. Zwei Monate später, am 12. September, starb er im Alter von 72 Jahren plötzlich an einer Hirnblutung in San Jose, Kalifornien. Der allseits beliebte, stets lächelnde Trummy Young hatte sich seinen festen Platz in der Jazzszene erobert.
