Du hast für das Fach eine Lehrbefähigung, also musst du es unterrichten. Ich befürchte, das wird sich kaum ändern lassen.
Wie @Krabappel sagt: Versuche, das Beste draus zu machen.
Ich unterrichte auch lieber Mathe als Englisch. An unserer Schule gibt es allerdings eine Überversorgung mit Mathe und eine Unterversorgung mit Englisch. Also muss ich hauptsächlich Englisch unterrichten. Fand ich am Anfang auch nicht so toll, mittlerweile habe ich mich aber damit arrangieren können.
Ich habe Englisch aus voller Überzeugung heraus studiert. Das Studium hat mir Spaß gemacht, auch wenn es nur (wegen Mathe) gefühlt "nebenher" lief. Mathe war sehr aufwändig und so habe ich nie groß für Englisch gelernt und trotzdem die meisten Scheine im 1er-Bereich absolviert. Englisch zu unterrichten machte mir aber dann doch irgendwie weniger Spaß obwohl ich privat fast alles auf Englisch "erledige" (Lesen, Serien/Filme gucken, Sprechen, etc.)
Als dann die Situation eintrat, dass ich signifikant mehr Englisch unterrichten musste, hab ich mich einfach mal hingesetzt und gefragt, woran es eigentlich konkret liegt, dass mir Englisch keinen Spaß macht. Die Übeltäter waren recht schnell gefunden: Der hohe Korrekturaufwand in der Oberstufe und die Aufmachung der Lehrwerke. Für beide "Probleme" habe ich eine Lösung gefunden.
In der Oberstufe habe ich früher bei jeder Klausur einen Aufsatz dabei gehabt, was einen immensen Korrekturaufwand bedeutete. Seither schreibe ich in der 11 nur noch eine Aufsatz-Klausur und in 12 und 13 jeweils zwei Aufsatz-Klausuren. Ansonsten schreibe ich andere Klausuren (Hörverstehen, Language (in der 11), Ersatz einer Klausur durch eine gleichwertige Leistung, etc.). Das hat mir immens geholfen.
Das Problem mit den Lehrwerken abzustellen war aufwändiger. Ich finde die Lehrwerke, die es für Englisch gibt (als near-native speaker) eine Katastrophe, ehrlich gesagt... Ich weiß gar nicht, wo ich anfangen soll, mich zu beschweren. Es fängt bei den wenig authentischen Unit-Texten und den dazugehörigen völlig sinnfreien Vokabellisten an und hört bei den stupiden "fill in the gap"-Übungen noch lange nicht auf. Vereinzelt gibt es im Buch mal was Brauchbares (das verwende ich dann auch) aber größtenteils habe ich mir nun eigene Materialien erstellt und verwende fast ausschließlich (bis auf Prüfungsvorbereitung) diese.
Eventuell wäre das auch eine Möglichkeit für dich: Zu gucken, warum dir Physik konkret keinen Spaß macht und das dann gezielt abzustellen?