En la
escuela estudió violín y le dio clases de piano Joseph de Lima, y aunque
inicialmente pensaba estudiar medicina, con el tiempo se convirtió en
estudiante de música en Viena a la edad de 18 años para asistir a las clases de
dirección orquestal de Hans Swarowsky en la Academia de Música de Viena, donde,
fue contrabajista de la orquesta de estudiantes. En 1958 ganó el concurso de dirección organizado por la
Real Filarmónica de Liverpool. El premio incluía un año como ayudante del
director Charles Groves. En 1960 le nombraron director de la Filarmónica de Los
Ángeles, donde permaneció 16 años, y en 1962 de la Orquesta Sinfónica de
Montreal, puestos que simultaneó durante siete años. En 1978 sustituyó a Pierre Boulez como director de la
Orquesta Filarmónica de Nueva York, y desempeñó este cargo hasta que en 1991
dimitió. Además, desde 1977 ha sido director de la Filarmónica de Israel, y ha
dirigido ópera en numerosos países. El gobierno indio le concedió su más prestigioso
galardón cultural, el Padmabhushan (Orden del Loto), y en 1976 el gobierno
italiano le nombró Commendatore. Desde 2005 es el director titular (junto a
Lorin Maazel) del Palacio de las Artes Reina Sofía en la Ciudad de las Artes y
de las Ciencias de Valencia. En 2006 el Centro Kennedy le otorgó el Premio
Kennedy. Fue investido Doctor Honoris causa por la Universitat Politècnica de
Valencia. Su primer matrimonio fue con la
soprano canadiense Carmen Lasky en 1958. Tuvieron un hijo, Mervon, y una hija,
Zarina. En 1964, se divorciaron y dos años después se casó con el hermano de
Mehta, Zarin Mehta, ex director ejecutivo de la Filarmónica de Nueva York. En
julio de 1969, se casó Nancy Kovack, actriz. Residente permanente en los
Estados Unidos, conserva su ciudadanía india.