Δίδαξε στο Πανεπιστήμιο Μουσικής και Θεατρικής Τέχνης στη Βιέννη για 30 χρόνια (1946 – 1975).
Η φήμη του ως δασκάλου διεύθυνσης ορχήστρας υπήρξε σχεδόν θρυλική. Εξέχοντες μαθητές του ήταν οι: Ζουμπίν Μέτα (Zubin Mehta), Κλαούντιο Αμπάντο (Claudio Abbado), Μάρις Γιάνσον (Mariss Janson) και ο πρόωρα χαμένος Τζουζέπε Σινόπολι (Giuseppe Sinopoli).
Είχε περιέργεια για τα εκτελεστικά δόγματα του 18ου αιώνα και ήθελε να μάθει τους κανόνες που όριζαν την κρατούσα πρακτική της εποχής. Τον ενδιέφερε ιδιαίτερα η χρήση του tempo rubato (το οποίο σηματοδοτεί ένα είδος ελεύθερης εκτέλεσης που αντιστέκεται σε κάθε αυστηρή τήρηση του τέμπο), στο τραγούδι και τον αυτοσχεδιασμό.
Πραγματοποίησε αυτή τη σύλληψη αυτοσχεδιαστικής πρακτικής σε δύο εντυπωσιακές ηχογραφήσεις κοντσέρτων του Mozart με σολίστα τον Φρίντριχ Γκούλντα (Friedrich Gulda) και την Ορχήστρα Λαϊκής Όπερας. Υπάρχει και ηχογράφηση που έκαναν ο Κλαούντιο Αμπάντο και ο Ρούντολφ Σέρκιν (Rudolf Serkin) με τη Συμφωνική Ορχήστρα του Λονδίνου.
Ο Σβαρόφσκι έτρεφε έντονη αντιπάθεια για τους μαέστρους «αστέρες». Στη μεταθανάτια εκδοθείσα πραγματεία του Wahrung der Gestalt (Προστασία της Μορφής) αναφέρει:
Ο αστέρας αναπαράγει τη μουσική με τέτοιον τρόπο που μπορεί κανείς, μόνο να δει και όχι να ακούσει τη μουσική. Ακόμη κι αν παίζουμε έναν δίσκο, το λατρευτό του πρόσωπο μας κοιτάζει, τουλάχιστον από το εξώφυλλο. Η μουσική δεν είναι πια αυτό που συνέθεσε ο Μπραμς, αλλά αυτό που ΧΥ παίζει, τραγουδά ή διευθύνει.
Δεν είδε ποτέ τον εαυτό του ως βιρτουόζο της μπαγκέτας, αλλά ως «υπηρέτη του έργου». Η εισαγωγή του στο Wahrung der Gestalt περιέχει την εκπληκτική δήλωση: «Ως μη-δημιουργός αποφάσισα να είμαι, όχι ανα-δημιουργός, αλλά υπηρέτης του δημιουργού».
Προσπαθούσε να μεταδώσει το σωστό αίσθημα για το ύφος του κάθε συνθέτη και των έργων του. Το ύφος δεν σήμαινε κάτι που απλώς ο ίδιος δεν μπορούσε να προσδιορίσει τεχνικά, αλλά μάλλον κάτι το πνευματικό. Αγαπούσε τις αναλύσεις, την ιστορία της τέχνης και αρεσκόταν να μιλά για Kunstwollen (βούληση για τέχνη), όρο που εφεύρε ο Βιεννέζος κριτικός Μαξ Ντβόρακ (Max Dvorak).
Συχνά περιέπαιζε τις ρομαντικές ερμηνείες π.χ. του Φούρτβενγκλερ ή του Κάραγιαν. Πολύ πριν τον Χάρνονκουρτ (Harnoncourt), ορκιζόταν στη Werktreue, την πίστη στο έργο. Κατ΄αυτόν, οι παρτιτούρες των μεγάλων συνθετών περιείχαν όλα τα στοιχεία που χρειάζονταν για την ορθή ερμηνεία. Πίστευε ότι το κύριο καθήκον του μαέστρου ήταν να ακολουθεί αυτούς τους προσδιορισμούς με τη μέγιστη σχολαστικότητα. Αναφερόταν επίσης για τη φροντίδα και την ακρίβεια με την οποία ο Γκούσταβ Μάλερ σχεδίαζε τις παρτιτούρες του. Ο Μάλερ όμως, δεν θα συμφωνούσε πάντα με τον Σβαρόφσκι, καθώς έλεγε ότι το καλύτερο τμήμα της μουσικής δεν εμφανίζεται στις νότες.
Πρωταρχικής σημασίας για τον Σβαρόφσκι ήταν η επιλογή του τέμπο. «Το τέμπο είναι εκ των ων ουκ άνευ συνθήκη της φόρμας και στοιχείο απόλυτης πνευματικότητας που προηγείται της κάθε εκτέλεσης του έργου». Του άρεσε ιδιαίτερα να μιλά για τη δομή μάλλον, παρά για την έκφραση. Ήταν της άποψης ότι, σε μια σωστή ερμηνεία η σωστή έκφραση θα προκύψει από μόνη της.
Ως μουσικός και διανοούμενος ήταν τόσο μοναδικός που δύσκολα κατατάσσεται σε κάποια κατηγορία. Υπήρξε πρωτοπόρος της λεγόμενης «ιστορικής» εκτελεστικής πρακτικής που εφαρμόστηκε αργότερα.
Από το βιβλίο «Πάθος για Μουσική», Κωνσταντίνος Φλώρος
