Wanneer kan een AI-noodoplossing verdwijnen?

Drie modelvragen staan tussen een illustratieve integratieassistent en zijn veldtoewijzing. De eerste deelt het verzoek in. De tweede kiest een tool. De derde herschrijft dezelfde keuze in een langer formaat. Die reeks ontstond toen het model vaak twee handelingen verwarde. Na een modelupgrade kan de extra route vertragen zonder nog fouten te voorkomen.

Je weet het alleen door dezelfde taken via beide routes te laten lopen. Vertrouwdheid is geen bewijs van waarde.

Een gesprek over producten die met modelcapaciteit veranderen stelt dat een product moet verbeteren als zijn model verbetert. Het beschrijft ook hoe moeilijk vertrouwde interfaces te verwijderen zijn. De les is niet dat elke steun weg moet. Test of die haar plek nog verdient.

Scheid hulp van bevoegdheid

Een oude hulplaag kan een prompt zijn die toolbeschrijvingen herhaalt, een router die altijd dezelfde handeling kiest of een vaste interface voor een taak die het model nu duidelijker op verzoek kan uitleggen. Haar werk is model of gebruiker helpen. Doet zij dat niet meer, dan zijn de onderhoudskosten pure ballast.

Een controle van rechten is anders. Die bepaalt of een handeling mag. Een model dat voortreffelijk tools kiest, mag zichzelf nog steeds geen toegang geven tot gegevens van een andere winkel. Een model dat een perfecte contactupdate schrijft, heeft nog steeds de juiste goedkeuring nodig vóór een echte schrijfactie.

De uitleg over MCP beschrijft tooltoegang én de beveiligingskosten daarvan. Modelcapaciteit kan veranderen hoe een assistent de juiste tool vindt. Ze neemt niet weg dat de tool beperkt moet zijn en de invoer gecontroleerd moet worden.

Dit onderscheid voorkomt een gewone fout bij opruimwerk. Teams zien de oude route als één laag en houden of verwijderen alles. Splits de vragen: welke delen helpen het model redeneren, welke helpen de gebruiker begrijpen en welke dwingen buiten het model een regel af? Alleen de eerste twee komen in aanmerking om vanwege betere modelcapaciteit te verdwijnen.

Een eerlijke vergelijking gebruikt dezelfde taakinvoer en dezelfde toegestane handelingen. Krijgt de eenvoudigere route een nieuwer schema of ruimere rechten, dan zegt een goed resultaat weinig over de verwijderde laag. Neem foutgevallen op waarvoor de oude hulp was gebouwd en kijk of de nieuwe route ze om dezelfde reden opvangt. Anders kunnen enkele geslaagde normale voorbeelden uitwissen waarom de hulp ooit bestond.

Vergelijk complete taken

Een modelbenchmark is niet genoeg. De productvraag is of gebruikers de echte taak afronden met minder fouten, minder tijd of duidelijker bewijs.

Maak een kleine groep scenario’s: een normale contacttoewijzing, een onbekend veld in het doelsysteem, een account zonder voldoende rechten en een verzoek dat vóór een voorbeeld wil activeren. Doorloop elk scenario met en zonder hulplaag. Controleer toolaanroepen, uitleg en stopbesluiten. Meet vertraging en kosten naast juistheid.

Is de eenvoudige route gelijkwaardig bij gewone taken maar slechter bij rechten, behoud dan die bescherming. Verandert de hulplaag niets en voegt ze twee seconden toe, verwijder haar. Helpt ze alleen bij één zeldzaam soort verzoek, beperk haar dan daartoe.

Een terecht bezwaar luidt: “Gebruikers kennen de oude interface; verwijderen zorgt voor nieuw werk.” Klopt. Een vertrouwd bedieningselement kan een mens helpen nadat het model het niet meer nodig heeft. Kijk of die gebruikers de taak werkelijk afronden en begrijpen. Een oude interface kan om menselijke redenen blijven, maar die redenen moeten worden benoemd en getoetst.

Scheid de kosten van de noodoplossing van de kosten om haar te veranderen. Een router kan een beetje vertragen maar goedkoop te behouden zijn; een broze handgeschreven parser kan onderhoud vragen telkens als een aanbieder een veld toevoegt. Een beoordelingskaart kan vertraging, fouten, onderhoudslast en begrip van gebruikers vastleggen. De waarden komen uit de eigen producttaken, niet uit een algemene bewering dat een nieuwer model slimmer is.

Wat beschermt de oude hulplaag nog?

1. Ze dwingt rechten of gegevensbereik af

   Behoud de controle

   Modelcapaciteit geeft geen bevoegdheid.

2. Ze helpt alleen bij één soort uitzondering

   Beperk de hulplaag

   Gebruik haar waar de taaktests waarde aantonen.

3. Ze verandert geen geteste uitkomst

   Verwijder de hulplaag

   Haal vertraging en onderhoud weg die niets meer opleveren.

Verwijder de noodoplossing bewust

Veilig verwijderen vraagt om een beginpunt en een route terug. Noteer de uitkomsten van de oude route bij dezelfde scenario’s, zet de nieuwe route aan voor een beperkte groep en volg fouten. Houd het oude gedrag lang genoeg beschikbaar om een achteruitgang te onderzoeken. Dit zijn normale productcontroles, geen belofte dat modelverbetering elke functie overbodig maakt.

Tajo’s gids voor reverse ETL biedt een bruikbare grens: herhaalde gegevensverplaatsing hoort in een stabiele pijplijn. Een sterker model kan beter worden in het voorstellen of uitleggen van een veldtoewijzing. Het maakt een modelaanroep per record nog geen beter transportmechanisme.

De prijs van deze discipline is periodiek opnieuw testen. De winst is een product dat niet eindeloos de noodoplossingen van gisteren draagt.

Modelvooruitgang moet vervelend werk wegnemen, geen regels.

Noteer bij elke overgebleven laag kort waarom zij bestaat. “Deze stap voorkomt schrijfacties zonder toestemming” blijft geldig als de modelkwaliteit stijgt. “Deze stap compenseert dat het model twee tools verwart” vraagt bij de volgende modelwijziging om een nieuwe test. Zo’n korte inventaris maakt later opruimen een herhaalbaar besluit in plaats van een discussie over de vertrouwdheid van het oude ontwerp.