Jacques Mattheij maakte een klein, maar geweldig, fout. Hij ging een avond op eBay en bode op een heleboel bulk LEGO-bakstenen veilingen, en ging toen slapen. Op wakker, ontdekte hij dat hij de hoge bieder was op veel, en was nu de trotse eigenaar van twee ton LEGO-bakstenen. (Dit is ongeveer 4400 pond.) Hij schreef: “[L] esson 1: als je bijna alle biedingen wint, bied je te hoog.”

Mattheij had gemerkt dat bulk, ongesorteerde bakstenen voor ongeveer € 10 per kilo verkopen, terwijl de sets ongeveer € 40 / kg zijn en zeldzame onderdelen gaan tot € 100 / kg. Veel van de waarde van de stenen is in hun sortering. Als hij de entropie van deze bakken van ongesorteerde bakstenen kon verminderen, kon hij een goede winst maken. Terwijl veel mensen dit werk met de hand doen, is het probleem enorm, gewoon het soort uitdaging voor een computer. Mattheij schrijft:

Er zijn 38000 + vormen en er zijn 100 + mogelijke kleurenschakeringen (u kunt ongeveer vertellen hoe oud iemand is door hen te vragen wat lego kleuren die zij zich herinneren van hun jeugd).

In de daaropvolgende maanden heeft Mattheij een proof-of-concept sorteringssysteem gebouwd met natuurlijk LEGO. Hij heeft het probleem onderbroken in een reeks subproblemen (waaronder “LEGO betrouwbaar uit een hopper verrassend moeilijk”, een van die feiten van de natuur die zelfs het beste systeemontwerp stymieert). Nadat hij het prototype langzamer had, breidde hij het systeem uit naar een verrassend complex systeem van transportbanden (aangedreven door een thuisloopband), diverse meubelstukken en “overvloedige hoeveelheden gekke lijm”.

Hier is een video die laat zien dat het huidige systeem op lage snelheid draait:

Het belangrijkste onderdeel van het systeem was de stenen voorbij een camera, gekoppeld aan een computer die een neurale netgebaseerde beeldklassificatie uitvoerde. Dat laat de computer toe (wanneer hij voldoende op steenafbeeldingen is opgeleid) om stenen te herkennen en ze te kategoriseren volgens kleur, vorm of andere parameters. Onthoud dat als bakstenen voorbijgaan, ze in elke richting kunnen zijn, vuil zijn, kan zelfs op andere stukken zitten. Dus met een flexibel software systeem is de sleutel tot herkenning – in een fractie van een seconde – wat een bepaalde baksteen is, om het uit te sorteren. Wanneer een wedstrijd wordt gevonden, springt een straal van perslucht het stuk van de transportband en in een wachtbak.

Na veel experimenten heeft Mattheij de software herhaald (meerdere keren in feite) om een ​​verscheidenheid aan basistaken te realiseren. In zijn kern neemt het systeem beelden van een webcam en voert ze naar een neuraal netwerk om de classificatie te doen. Natuurlijk moet het neurale net “getraind” worden door het veel beelden te tonen en te vertellen wat die beelden vertegenwoordigen. Mattheij’s doorbraak zorgde ervoor dat de machine zichzelf effectief kan trainen, met begeleiding: het doorlopen van stukken maakt het systeem mogelijk om eigen foto’s te nemen, een gok te maken en op die gok te baseren. Zolang Mattheij de onjuiste gissingen corrigeert, eindigt hij met een fatsoenlijke (en zelfversterkende) corpus trainingsgegevens. Aangezien de machine doorloopt, kan het meer training opleiden, waardoor het een breed scala aan stukken in de lucht kan herkennen.

Hier is een andere video, die zich richt op hoe de stukken op transportbanden bewegen (met langzame snelheid draaien, zodat er spannende mensen kunnen volgen). U kunt de luchtstralen ook in actie zien:

Jacques Mattheij maakte een klein, maar geweldig, fout. Hij ging een avond op eBay en bodde op een heleboel bulk LEGO-bakstenen veilingen, en ging toen slapen. Op wakker, ontdekte hij dat hij de hoge bieder was op veel, en was nu de trotse eigenaar van twee ton LEGO-bakstenen. (Dit is ongeveer 4400 pond.) Hij schreef: “[L] esson 1: als je bijna alle biedingen wint, bied je te hoog.”

Mattheij had gemerkt dat bulk, ongesorteerde bakstenen voor ongeveer € 10 per kilo verkopen, terwijl de sets ongeveer € 40 / kg zijn en zeldzame onderdelen gaan tot € 100 / kg. Veel van de waarde van de stenen is in hun sortering. Als hij de entropie van deze bakken van ongesorteerde bakstenen kon verminderen, kon hij een goede winst maken. Terwijl veel mensen dit werk met de hand doen, is het probleem enorm, gewoon het soort uitdaging voor een computer. Mattheij schrijft:

Er zijn 38000 + vormen en er zijn 100 + mogelijke kleurenschakeringen (u kunt ongeveer vertellen hoe oud iemand is door hen te vragen wat lego kleuren die zij zich herinneren van hun jeugd).

In de daaropvolgende maanden heeft Mattheij een proof-of-concept sorteringssysteem gebouwd met natuurlijk LEGO. Hij heeft het probleem onderbroken in een reeks subproblemen (waaronder “LEGO betrouwbaar uit een hopper verrassend moeilijk”, een van die feiten van de natuur die zelfs het beste systeemontwerp stymieert). Nadat hij het prototype langzamer had, breidde hij het systeem uit naar een verrassend complex systeem van transportbanden (aangedreven door een thuisloopband), diverse meubelstukken en “overvloedige hoeveelheden gekke lijm”.

Hier is een video die laat zien dat het huidige systeem op lage snelheid draait:

Het belangrijkste onderdeel van het systeem was de stenen voorbij een camera, gekoppeld aan een computer die een neurale netgebaseerde beeldklassificatie uitvoerde. Dat laat de computer toe (wanneer hij voldoende op steenafbeeldingen is opgeleid) om stenen te herkennen en ze te kategoriseren volgens kleur, vorm of andere parameters. Onthoud dat als bakstenen voorbijgaan, ze in elke richting kunnen zijn, vuil zijn, kan zelfs op andere stukken zitten. Dus met een flexibel software systeem is de sleutel tot herkenning – in een fractie van een seconde – wat een bepaalde baksteen is, om het uit te sorteren. Wanneer een wedstrijd wordt gevonden, springt een straal van perslucht het stuk van de transportband en in een wachtbak.

Na veel experimenten heeft Mattheij de software herhaald (meerdere keren in feite) om een ​​verscheidenheid aan basistaken te realiseren. In zijn kern neemt het systeem beelden van een webcam en voert ze naar een neuraal netwerk om de classificatie te doen. Natuurlijk moet het neurale net “getraind” worden door het veel beelden te tonen en te vertellen wat die beelden vertegenwoordigen. Mattheij’s doorbraak zorgde ervoor dat de machine zichzelf effectief kan trainen, met begeleiding: het doorlopen van stukken maakt het systeem mogelijk om eigen foto’s te nemen, een gok te maken en op die gok te baseren. Zolang Mattheij de onjuiste gissingen corrigeert, eindigt hij met een fatsoenlijke (en zelfversterkende) corpus trainingsgegevens. Aangezien de machine doorloopt, kan het meer training opleiden, waardoor het een breed scala aan stukken in de lucht kan herkennen.

Hier is een andere video, die zich richt op hoe de stukken op transportbanden bewegen (met langzame snelheid draaien, zodat er spannende mensen kunnen volgen). U kunt de luchtstralen ook in actie zien:

In een e-mail interview vertelde Mattheij Mental Floss dat het systeem momenteel LEGO-bakstenen in meer dan 50 categorieën sorteert. Het kan ook worden uitgevoerd in een kleur sorteringsmodus om de onderdelen in 12 kleurgroepen te verpakken. (Op dit moment zou je waarschijnlijk een twee kaart soort op de stenen doen: een keer voor vorm, dan een aparte pas voor kleur.) Hij blijft het systeem verfijnen, met de nadruk op het sneller maken van zijn herkenningsvermogen. Op een gegeven moment beneden de lijn, is hij van plan om het software gedeelte open source te maken. Je bent alleen op het gebied van transportbandjes, bakken, enzovoort.