En la escuela estudió violín y le dio clases de piano Joseph de Lima, y aunque inicialmente pensaba estudiar medicina, con el tiempo se convirtió en estudiante de música en Viena a la edad de 18 años para asistir a las clases de dirección orquestal de Hans Swarowsky en la Academia de Música de Viena, donde, fue contrabajista de la orquesta de estudiantes. En 1958 ganó el concurso de dirección organizado por la Real Filarmónica de Liverpool. El premio incluía un año como ayudante del director Charles Groves. En 1960 le nombraron director de la Filarmónica de Los Ángeles, donde permaneció 16 años, y en 1962 de la Orquesta Sinfónica de Montreal, puestos que simultaneó durante siete años. En 1978 sustituyó a Pierre Boulez como director de la Orquesta Filarmónica de Nueva York, y desempeñó este cargo hasta que en 1991 dimitió. Además, desde 1977 ha sido director de la Filarmónica de Israel, y ha dirigido ópera en numerosos países. El gobierno indio le concedió su más prestigioso galardón cultural, el Padmabhushan (Orden del Loto), y en 1976 el gobierno italiano le nombró Commendatore. Desde 2005 es el director titular (junto a Lorin Maazel) del Palacio de las Artes Reina Sofía en la Ciudad de las Artes y de las Ciencias de Valencia. En 2006 el Centro Kennedy le otorgó el Premio Kennedy. Fue investido Doctor Honoris causa por la Universitat Politècnica de Valencia. Su primer matrimonio fue con la soprano canadiense Carmen Lasky en 1958. Tuvieron un hijo, Mervon, y una hija, Zarina. En 1964, se divorciaron y dos años después se casó con el hermano de Mehta, Zarin Mehta, ex director ejecutivo de la Filarmónica de Nueva York. En julio de 1969, se casó Nancy Kovack, actriz. Residente permanente en los Estados Unidos, conserva su ciudadanía india.