Stark schwankende DSL-Downloadgeschwindigkeit

Ich habe vor ein paar Tagen von Telekom DSL zu O2 DSL 250 gewechselt und seit dem sind folgende Dinge soweit auch ok: 
Stabilität der Verbindung, Ping, Upload (meistens), DSL-Verbindung ist hervorragend (bin laut meiner 7510er Fritz!Box (aktuelles 8.26er Fritz!OS, restarted, praktisch Werkseinstallung, nur O2- anstatt Telekom-Zugangsdaten drin und WLAN ausgeschaltet) aber auch nur 142m von dem Outdoor-DSLAM entfernt)... 

Doch egal welchen Speedtest ich nehme, ich habe mal vollste Geschwindigkeit (>>250MBit/s) und manchmal auch nur 20MBit/s, oft Werte dazwischen (je nachdem welcher Server als Gegenpart verwendet wird). 

Mein Setup ist so simpel wie möglich (KISS-Prinzip :-) ), um jegliche Fremdeinwirkung auszuschließen: WLAN an dem Router ist Deaktiviert und ich bin mit einem frisch durchgestarteten,  relativ neuem PC mit einem 3m CAT8-Netzwerkkabel an dem einzigen Netzwerk-Port der FritzBox verbunden. 

Mir kommt es so vor, als ob das Routing innerhalb des O2-Netzes je nach Ziel höchst unterschiedlich performant ist, vielleicht sind einige Strecken auch vollkommen ausgelastet. 
Dieses Verhalten kenne ich von dem Telekom-Netz nicht... . 

Ich habe den Luxus, dass ich ebenfalls auf eine Vodafone Kabel-Verbindung (250/25) zugreifen kann (meine Backup-Leitung): diese weist an meinem PC bei den verschiedenen Speedtests (Speedtest.net, breitbandmessung.de/test, zack.avm.de, fast.com, speed.cloudflare.com praktisch die erwarteten Werte meines Vertrages an. 

 -> habt ihr solch ein Verhalten auch schon mal bemerkt (Umland von Frankfurt/Main), 
was könnte die Ursache davon sein und wie kann man dies lösen - wenn überhaupt? 
Es kann doch nicht sein, dass das Routing innerhalb des Telefonica-Netzes so unterschiedlich zu dem von Telekom und/oder Vodafone ist, oder? 

Also damit meine ich, dass selbst wenn ich eine Störungsmeldung aufgebe, was könnte ein Techniker dann nachschauen, messen oder sonst machen, wenn die Ursache möglicherweise grundsätzlich in dem Routing vom O2-Netz zu suchen ist und somit nicht so einfach korrigierbar wäre? 

Ich sehe als einzige Möglichkeit im Moment nur, mittels Langzeitmessung durch die Desktop-App von der breitbandmessung von der Bundesnetzagentur dies nachzuweisen und eine außerordentliche Kündigung zu erwirken und den ISP (O2) zu wechseln (zu testzwecken monatlich kündbarer Vertrag von 1&1 oder gleich wieder zur Telekom)... . 

P.S.: sorry für den langen Roman! :-O