Παρ΄όλο που δεν συμφμωνούσε με τις ιδέες του κόμματος κάποιοι είπαν ότι η ενέργεια αυτή έγινε για καθαρά επαγγελματικούς λόγους. Ακολουθούν συναυλίες σε Παρίσι, Άμστερνταμ, Στοκχόλμη,  Βουκουρέστι, ακόμα και στην Αθήνα, στο Ηρώδειο. Το 1938 ξεκινάει συνεργασία με τη Φιλαρμονική Ορχηστρα του Βερολίνου κάτι που θα συνεχιστεί μέχρι το τέλος της ζωής του. Το 1942 ο γάμος του με την εβραϊκής καταγωγής Ανίτα Γκίτερμαν θα τον οδηγήσει στην πόρτα της εξόδου από το Ναζιστικό καθεστός και τα προνόμια του. Στο τέλος του πολέμου θα υποστεί αλλεπάλληλες ανακρίσεις σχετικά με το ρόλο του στο Ναζιστικό κόμμα αλλά δεν θα βρεθεί τίποτα εις βάρος του. Ακολουθούν εμφανίσεις σε όλη την Ευρώπη και το κοινό τον αποθεώνει. Λέγεται ότι ηχογράφησε πάνω από 900 δίσκους και πάνω από 120 εκατομμύρια πωλήσεις. Ο Κάραγιαν λάτρευε τα αυτοκίνητα και τις μηχανές και χαρακτηρίστηκε ως μαέστρος-στάρ. Διετέλεσε επίσης καλλιτεχνικός διευθυντής της Κρατικής Όπερας της Βιέννης, διεύθηνε στη Σκάλα του Μιλάνου και φυσικά διεύθυντης της Φιλαρμονικής Ορχήστρας του Βερολίνου για 35 συναπτά έτη. Στο τέλος της ζωής του δίδασκε κλασσική μουσική σε μικρά παιδιά ακόμη και σε σχολεία. Για πολλούς ήταν ο καρυφαίος μαέστρος του 20^ου αιώνα. Θεωρήθηκε ότι ήταν ότι καλύτερο βγήκε από Αυστριακό έδαφος ύστερα από τον μυθικό Βόλφγκανγκ Αμαντέους Μότσαρτ!