TSV Consulting

04/10/2026

Un experiment practic de weekend: Cum am rulat un model AI uriaș pe un calculator vechi de 8 ani.

În industrie se spune că pentru a rula local modele AI complexe (Large Language Models de peste 30 de miliarde de parametri) ai nevoie de plăci video de mii sau zeci de mii de euro.

Am vrut să testez dacă limitarea este cu adevărat hardware-ul fizic sau, de fapt, modul ineficient în care software-ul cere datele. Am reușit să rulez un model de 35B pe un PC cu un procesor Intel i5 vechi și o placă video GTX 1060 (din 2016, cu doar 6GB VRAM). Modelul a scos o viteză perfect utilizabilă de 8.5 tokeni/secundă, păstrându-și 100% capacitatea de deducție logică.

Iată cm a fost rezolvată problema, concept cu concept:

GESTIONAREA MEMORIEI

Am decuplat topologia modelului (Qwen 3.5 MoE). Am extras coloana vertebrală (Atenția, Routerele, Embeddings) care ocupă doar 2.39 GB și am fixat-o permanent în memoria VRAM a plăcii video prin Vulkan. Cei 10.240 de experți independenți au fost arhivați pe SSD-ul NVMe ca fișiere atomice, fiind paginați și citiți doar asincron, la cerere.

Un model de 20 GB nu încape fizic într-o placă video de 6 GB. Soluția a fost să-l tăiem în două: "centrul de comandă" stă în placa video (fiind foarte mic), iar enciclopedia cu cunoștințe stă pe hard-disk. Când centrul de comandă are nevoie de o informație, o cere de pe disc punctual, fără să blocheze tot calculatorul.

TĂIEREA TRAFICULUI INUTIL (ZERO-MASKING)

Am implementat Asymmetric K-Dropping. Modelul cere nativ activarea a 8 experți pe fiecare token. Analiza a arătat că primii 3 concentrează 94.5% din decizia matematică (masa Softmax). Am modificat codul: sistemul citește de pe disc doar Top-3 experți, iar restul de 5 sunt înlocuiți instant în VRAM cu matrici goale (tensor de zerouri). Rezultat: traficul pe magistrala PCIe a scăzut cu 62.5% (de la 14.5 MB la 5.4 MB per pas).

La fiecare literă pe care o scrie, AI-ul vrea să consulte 8 "specialiști" de pe hard-disk. Am observat că primii 3 specialiști aduc 95% din răspunsul corect, în timp ce restul de 5 doar fac zgomot, dar sufocă cablurile de date ale calculatorului. I-am pus pe "mute" pe ultimii 5, lăsând cablurile libere. Sistemul nu a orbit, dar viteza a crescut masiv.

FENTAREA SISTEMULUI DE OPERARE (KERNEL BYPASS)

Am înlocuit funcțiile clasice de citire a fișierelor (Syscalls) cu funcția POSIX mmap folosind flag-ul de kernel Linux MAP_POPULATE. Astfel, memoria "fierbinte" este trasă automat de sistemul de operare direct în memoria RAM încă de la inițializare, evitând întreruperile de tip "Page Fault" în timpul rulării. Latența de execuție per strat MoE a scăzut de la 392 milisecunde la 119 milisecunde (o accelerare brută de 3.28x).

Procesorul Intel i5 îmbătrânit pierdea foarte mult timp doar căutând efectiv fișierele pe disc la fiecare secundă. Am scris un cod care obligă sistemul de operare să copieze cele mai folosite informații direct în memoria ultra-rapidă (RAM) în momentul în care am aprins programul. Când AI-ul vrea o informație, nu mai așteaptă, o găsește gata servită.

Concluzia:
Dacă optimizezi matematica și respecți legile fizice ale hardware-ului, limitările dispar. Inteligența artificială avansată poate rula 100% offline, privat și eficient, chiar și pe un hardware pe care unii l-ar considera "depășit"

03/10/2026

Zidul Economic al Tokenilor: De ce infrastructura On-Premise este singura cale de supraviețuire pentru AI-ul Enterprise

Paradigma API-urilor LLM bazate pe cloud se îndreaptă spre un eșec token-economic iminent. Trecerea de la interfețe conversaționale de bază (chat wrappers) la agenți autonomi enterprise impune bucle de evaluare deterministe și continue în fundal, ceea ce transformă costul marginal per decizie într-o variabilă nesustenabilă.

Să folosești modele AI uriașe din cloud pentru orice acțiune măruntă din firma ta este ca și cm ai închiria un avion de pasageri ca să mergi până la colț după pâine. Este scump, ineficient și vei rămâne rapid fără buget

Stabilitatea operațională necesită decuplarea logică a stratului generativ de Asynchronous Control Plane. Utilizarea modelelor masive (35B+ parametri) pentru micro-decizii precum triajul reflexiv, gating-ul de context și rutarea de securitate introduce latențe critice în execuție.

Un asistent digital trebuie să ia mii de decizii invizibile (de exemplu: „Are voie utilizatorul X să vadă acest document?”). Dacă pentru fiecare „Da/Nu” sistemul trebuie să aștepte 3 secunde un răspuns de la un server extern, tot fluxul de lucru se blochează

Singura rută de optimizare sustenabilă este ingineria de sistem ancorată în hardware. Migrarea deciziilor către o infrastructură suverană (fie ea bare-metal consolidat sau arhitectură Edge-native distribuită) garantează o latență sub 100ms, zero drift de aliniere, iar costul de operare devine fix, limitat strict la resursele fizice (calcul, wați și răcire)

Soluția este să aduci „creierul” AI-ului acasă, pe infrastructura ta. Sistemul răspunde instant, plătești doar curentul electric, iar datele tale confidențiale nu părăsesc niciodată compania.

"Valul de hype se va mai menține puțin, dar când economia de tokeni va începe să ardă profiturile, ingineria de sistem curată va fi singura barcă de salvare"

05/09/2026

30/06/2026

Tehnologie, Sisteme și Management
​Arhitectura Serverless (Minimalistă)

​Tu ai două vaci. Nu le deții fizic și nu le ții în curte; ele există doar în „cloud”. Le activezi prin funcții declanșate instantaneu doar în milisecundele în care ai nevoie de lapte. Când mulsoarea s-a terminat, vacile dispar instantaneu pentru a economisi resurse. Dacă ai brusc un vârf de trafic și vin o sută de oaspeți în curte, sistemul pornește automat 100 de vaci, dar la sfârșitul lunii primești o factură de fân care îți falimentează gospodăria.

​Modelul Inteligenței Artificiale Generative (LLM)

​Tu ai două vaci. Le hrănești cu un set masiv de date care conține tot ce s-a scris vreodată pe planetă despre iarbă, ferme și lapte. Vacile nu mai produc lapte biologic, în schimb generează o descriere matematic perfectă, text și imagini hiper-realiste despre cm ar trebui să fie gustul laptelui ideal. Ocazional au halucinații și, în loc de lapte, livrează benzină, insistând cu deplină încredere că este exact ceea ce ai cerut.

​Sistemul Web3 / Blockchain (Descentralizat)

​Tu ai două vaci. Le fragmentezi digital în 10.000 de jetoane unice (NFT-uri) și le pui pe piață. Vecinii tăi cumpără procente din uger, coadă sau copite. Vacile mor de foame în curte pentru că comunitatea nu reușește să ajungă la un consens algoritmic (proof-of-stake) privind persoana care are obligația fizică să le cumpere fân, însă valoarea speculativă a jetoanelor crește artificial cu 400%.

​Corporația Big Tech (CaaS - Cow as a Service)

​Tu ai două vaci. Le redenumești într-un ecosistem digital integrat și le treci pe bază de abonament lunar. Utilizatorii nu mai au voie să atingă vacile sau să le repare singuri (dreptul la reparare fiind blocat prin licență). Dacă vecinul vrea lapte, trebuie să își creeze un cont, să accepte termenii și condițiile și să plătească o taxă de procesare de 30%. Una dintre vaci colectează constant date despre obiceiurile de somn ale vecinului și le vinde agențiilor de publicitate.

17/03/2026

The End of the "Cold Mirror Fallacy": Why the Future of AI isn't in More GPUs, but in Informational Thermodynamics

The current AI industry is trapped in a brute-force arms race. We are building massive data centers, hoarding tens of thousands of GPUs, and treating our systems' memory as a static data warehouse.

When we look at commercial RAG (Retrieval-Augmented Generation) systems, we operate under an illusion that at Ozana we call the "Cold Mirror Fallacy". Current architectures simply search for mathematical proximity (cosine similarity) between a user prompt and a document. They do it coldly, mechanically, and outside of time. They completely ignore the system's internal state, the global context (the Zeitgeist), and the computational "metabolic" cost of maintaining that information. This is exactly why current LLMs hallucinate with such absolute confidence.

In our SAMI architecture research labs, we realized it's time to evolve from static vector databases to a living, thermodynamic memory.

Drawing inspiration from Karl Friston’s Free Energy Principle and Bernard Baars' Global Workspace Theory, we engineered a cognitive architecture based on what we term Warm Mnemonic Mirrors. What does this mean in practice, without giving away our secret sauce?

1. Recognition as a Phase Transition, Not a Search: Our system doesn't just "extract" data. Information only becomes conscious to the AI if it passes a dynamic filter that calculates Rationality (an adaptive anti-hallucination gate) and aligns with an Informational Field Gradient (the real-world environmental context).

2. Ephemeral Thoughts & Entropy:
Biological memory forgets strategically to remain efficient. We implemented ephemeral processing where irrelevant information undergoes an exponential decay based on the system's entropy. The AI intentionally "forgets" in order to preserve semantic clarity and save compute.

3. Extreme Computational Efficiency on CPUs (EPYC):
By applying concepts of "Neural Surgery" and meaning-oriented compression—rather than brute-force math—we achieve massive semantic coherence directly on enterprise CPUs. We are no longer chained to the traditional hardware monopoly for top-tier inference.

We don't need a bigger "stochastic parrot". We need a cognitive system that knows not only what to memorize, but when to forget, maintaining coherence in a noisy informational environment.

It is time to build machines optimized for meaning, not just for data.

How are you dealing with the limitations of traditional RAG architectures in your Enterprise AI deployments?

hashtag hashtag hashtag hashtag hashtag hashtag hashtag hashtag

16/03/2026

AI-ul tău funcționează sau doar îți consumă bugetul?
De ce arhitectura bate API-urile în 2026 ?

Știu exact prin ce treci.

Ai implementat un AI anul trecut. Promitea transformarea afacerii. Azi, ai două realități dureroase:

1. Facturi uriașe la GPU (H100-urile alea pe care le închiriezi mănâncă tot profitul).
2. Un sistem "rece", care face doar copy-paste din documente, fără să înțeleagă cu adevărat contextul tău.

Am petrecut 7.000 de ore dezvoltând nucleul Ozana și am ajuns la o concluzie pe care puțini și-o asumă:
Forța brută (GPU-uri) nu mai câștigă cursa în 2026. O câștigă inteligența arhitecturală (CPU).

Am construit un "Neural Bridge" care permite rularea unor analize cognitive complexe exclusiv pe procesoare obișnuite (CPU).

Ce înseamnă asta pentru tine, practic?
🔹 Costuri de operare radical reduse. Nu mai plătești o avere pe plăci video.
🔹 Suveranitate totală. Datele tale rămân pe serverele tale. Zero API-uri externe, zero scurgeri.
🔹 Viteză reală. Sistemul răspunde aproape instant, ca o conversație, nu ca o căutare pe Google.

Mai mult, am rezolvat problema "memoriei reci" a AI-ului printr-un concept numit Oglinda mnemonică caldă.
Pe scurt: AI-ul nu mai caută doar cuvinte cheie. El își amintește contextul, exact ca un expert care a trăit problemele alături de tine.

Când are sens tot efortul ăsta?
Când datele tale sunt aur și nu vrei să le dai la stat.

1. Pentru birourile de avocatură:
Nu poți trimite contracte și strategii confidențiale în Ai-uri comerciale care iți folosesc datele pentru antrenarea lor . Îți implementez un sistem local, pe CPU, care rulează pe serverele tale. Analizează jurisprudența în câteva secunde, cu zero latență și zero risc de securitate.

2. Pentru companiile B2B:
Dacă AI-ul tău de vânzări sau suport mănâncă profitul în costuri de infrastructură, hai să vorbim. Migrăm procesele grele pe CPU și optimizăm fluxurile. Viteză mai mare, factură mai mică.

3. Pentru educație și formare:
Sistemele actuale sunt rigide. Ai nevoie de un mentor AI care se adaptează în timp real la ritmul cursantului și rulează instantaneu, fără lag. Fix asta face arhitectura noastră.

Ești curios cm ar arăta AI-ul tău dacă l-am reconstrui de la zero pe principiul eficienței, nu al consumului?

În 15 minute de discuție, îți spun clar dacă soluția ta actuală arde bani aiurea și cm putem construi ceva mai performant, mai ieftin și doar al tău.

16/03/2026

The End of the "Cold Mirror Fallacy": Why the Future of AI isn't in More GPUs, but in Informational Thermodynamics The current AI industry is trapped in a brute-force arms race. We are building massive data centers, hoarding tens of thousands of GPUs, and treating our systems' memory as a static dat...

19/02/2026

NEUMA: ARCHITECTURE FOR DISTRIBUTED, STABLE, AND EFFICIENT ARTIFICIAL INTELLIGENCE

NEUMA (Neural Unified Memory Architecture) is a non-linear inference engine built on the principles of Reservoir Computing, but significantly extended in several directions:

Self-organization, not just training
Instead of tuning thousands of parameters through backpropagation, NEUMA uses local adaptation mechanisms—each component dynamically adjusts its own behavior to maximize information flow. The result? A system that maintains its own computational "health" without external intervention.

Collaboration without hierarchy
I've defined a communication protocol between instances that enables emergent synchronization, with no master node. Multiple NEUMA instances can form a collective intelligence, each contributing its own perspective, and consensus emerges naturally—like a well-synchronized group without a conductor.

Mathematical stability, not just heuristics
One of the major challenges in distributed systems with latency is instability. I've derived conditions that guarantee controlled behavior, and adaptive mechanisms prevent drift—the system stays in the optimal regime regardless of network or data fluctuations.

Efficient on ordinary hardware
NEUMA doesn't require expensive GPUs. It uses sparse structures and numerical methods that run in real-time on standard CPUs, with a modest memory footprint. Communication between nodes is minimal—only when truly necessary.

Self-adaptive to the environment
The system builds its own model of "normality" and continuously adjusts its operating parameters. When the environment changes, NEUMA recalibrates—without human intervention, without retraining.

What's next
We're now moving to the implementation phase on real infrastructure. The theory is solid, but true validation comes from practice. I'm looking for discussion partners—whether in reservoir computing, distributed systems, or high-performance engineering.

The architecture is extensively documented (technical white paper). If you're interested in details and have an appropriate confidentiality framework, I'd be happy to share. Until then, I'll keep it at the principle level—clear enough to show the direction, general enough to protect the essence.

hashtag hashtag hashtag hashtag hashtag hashtag hashtag