Der Datensatz besteht aus Sensordaten, die Informationen über die Bewegung einer Person im Raum liefern und mithilfe eines Motion-Capturing-Systems erfasst wurden. Zusätzlich wurde die Muskelaktivität der Arme aufgezeichnet. Die Daten liegen für fünf verschiedene Personen vor.

Es werden zwölf Aktivitäten der Hände unterschieden, wobei das Präfix „la-“ eine Aktivität der linken und das Präfix „ra-“ eine Aktivität der rechten Hand kennzeichnet:

• la-object-pick / ra-object-pick – Die Hand greift ein Objekt.
• la-object-carry / ra-object-carry – Die Hand hält ein Objekt.
• la-object-place / ra-object-place – Die Hand legt ein Objekt ab.
• la-object-switch-hands / ra-object-switch-hands – Ein Objekt wird von einer in die andere Hand übergeben.
• la-object-orient / ra-object-orient – Die Hand verschiebt ein liegendes Objekt.
• la-nothing / ra-nothing – Die Hand führt keine der vorherigen Aktionen aus.