Kyle wurde in Philadelphia, Pennsylvania, geboren. Schon als Teenager trat er mit lokalen Bands auf. Anfang der 1930er Jahre arbeitete er freiberuflich in New York und war anschließend Hauspianist im Memphis Club in Philadelphia. Bekannt wurde er erstmals als Begleiter des Sängers Bon Bon Tunnell beim Radiosender KYW.
Nach einer Zeit in der Band von Lucky Millinder (1936–1938) schloss sich Kyle dem John Kirby Sextet an, zu dessen Mitgliedern so berühmte Jazzmusiker wie Russell Procope, Buster Bailey und Charlie Shavers gehörten. Kyle blieb bei „The Biggest Little Band in the Land“, bis er zum Militär einberufen wurde.
Wie so viele seiner Generation wurde Kyle 1942 zum Militär eingezogen. Er schloss sich der legendären 93. Infanteriedivision an, konnte aber auch sein Klavierspiel verbessern und mit der Band des 368. Infanteriebataillons auftraten.
Nach seiner Entlassung kehrte Kyle für kurze Zeit zu Kirby zurück, begann aber auch, unter seinem eigenen Namen Platten aufzunehmen, darunter vier für das Label Hot Record Society mit den zukünftigen All Stars Trummy Young und Buster Bailey. Am 11. April 1946 nahm Kyle, unterstützt von Kirby und dem Gitarristen Jimmy Shirley, eine herausragende Version des damals angesagten Songs „All the Things You Are“ auf, einem Favoriten der aufstrebenden Popmusiker. Doch anstatt den moderneren Weg einzuschlagen, findet Kyle stattdessen einige Bezüge zwischen Jerome Kerns Melodie und der klassischen Musik, die Kyle in Philadelphia spielte.
Kyle verließ 1946 ebenfalls Kirby und spielte für einige Jahre bei Sy Oliver's Orchestra. Kyle war nie um Arbeit verlegen, aber nach 1946 leitete er nie wieder eine Session unter seinem eigenen Namen – eine wahre Schande. Sein Name war jedoch immer noch groß genug, um auf den Plattenlabels einiger der besten Sängerinnen der damaligen Zeit zu erscheinen, darunter Ella Fitzgerald.
Kyle beeindruckte offensichtlich sowohl Milt Gabler bei Decca als auch seinen damaligen Chef Sy Oliver, denn er wurde in den späten 1940er und 1950er Jahren Stammpianist bei vielen Decca-Konzerten, darunter auch bei denen mit Louis Armstrong.
Kyle war noch lange nicht weg. 1950 feierte der Riesenhit „Guys and Dolls“ Premiere am Broadway mit niemand Geringerem als Billy Kyle am Klavier. Es war der Beginn der Zulassung schwarzer Musiker in Broadway-Bands. Kyle wurde bei dieser Show von Trompeter Joe Wilder und Posaunist Benny Morton unterstützt. Kyle war zufrieden, arbeitete sechs Tage die Woche in New York und nahm Session-Auftritte an, wann immer sich die Gelegenheit bot.
Ende 1953 ersetzte Billy Marty Napoleon in Louis Armstrongs All Stars. Normalerweise war Joe Glaser für die Einstellung und Entlassung von Armstrongs Musikern zuständig, aber man kann sich vorstellen, dass Armstrong bei der Einstellung von Kyle ein Mitspracherecht hatte. Mit Kyle hatte Louis endlich den idealen Pianisten für die Gruppe. Seine Leistungen beeindruckten das Publikum stets, und er war ein viel besserer Teamplayer als ein grundsolider Begleiter. Und nachdem er drei Jahre lang Abend für Abend am Broadway, acht Vorstellungen pro Woche, genau die gleichen Stücke gespielt hatte, hatte er keine Probleme damit, viele der gleichen Lieder – und Soli – Abend für Abend mit den All Stars zu spielen. Tatsächlich schwankte Kyle, sobald er einmal ein festgelegtes Solo oder eine Einleitung gefunden hatte, nie und blieb seinen „festgelegten“ Exkursionen treuer als selbst Armstrong. Kyle ist im Musical High Society (1956) zu sehen.
Kyle war wirklich der ideale Pianist für die All Stars, aber sein einziges Problem war, dass er ein ziemlicher Trinker war und gerne feierte. Sein Spiel schien das nie zu beeinträchtigen, wohl aber seine Gesundheit. Während seiner 13 Jahre bei den All Stars erlitt er mehrere Zusammenbrüche, seine gesundheitlichen Probleme waren stets auf seinen Alkoholkonsum zurückzuführen. Anfang der 1960er Jahre ersetzte er das Trinken durch Essen und nahm im Laufe des Jahrzehnts allmählich zu. Im Winter Anfang 1966 war er am schwersten, während die Band immer noch One-Night-Stands spielte, oft in einem Bus mit nicht immer funktionierender Heizung.
Bei seinem letzten Auftritt in Ohio mussten ihm die Bandmitglieder die Treppe zur Bühne hinaufhelfen. Er war außer Atem und schaffte es kaum, aber er spielte alles, was er konnte. Es war einfach ein großartiges Spiel. Die Band wusste, dass etwas nicht stimmte, als Kyle am nächsten Morgen nicht aus seinem Zimmer kam. Er litt an Leberversagen. Er wurde eine Woche lang am Leben gehalten, starb aber am 23. Februar 1966 in Youngstown, Ohio. Er wurde 52 Jahre alt.
