Di Meola è di origini italo-americane, precisamente di Cerreto Sannita. Nel 1971 si è iscritto al Berklee College of Music a Boston (Massachusetts). Nel 1974 si è unito alla band di Chick Corea, Return to Forever, fino alla rottura avvenuta nel 1976.
Nel 2004 ha collaborato con l'interprete sardo Andrea Parodi, con il quale ha fatto una tournée mondiale chiamata Midnight in Sardinia. Nel 2005 è uscito l'album che raccoglie i momenti migliori di questa tournée. Fra le canzoni contenute in questo album c'è Armentos, scritta da Gino Marielli.
Ha esplorato vari stili, ma si è distinto per i suoi lavori di fusion influenzati dalla musica latina. Ha vinto per quattro volte il premio come miglior chitarrista jazz assegnato dalla rivista Guitar Player Magazine attraverso i voti dei lettori.
Oltre a una prolifica carriera solista, è stato impegnato in una fruttuosa collaborazione con il cantante e musicista greco George Dalaras, il bassista Stanley Clarke, il violinista Jean-Luc Ponty, e i chitarristi John McLaughlin e Paco de Lucía.