this.setMod(this.elem('item'), 'modName', 'modVal')

В данном случае он добавит класс всем элементам item, а нужно только тому на котором произошло событие

В функцию приходит событие, в нем есть ссылка на элемент.

this - блок $(e.target) - элемент на котором случилось событие

modules.define('block-name', ['i-bem__dom', 'jquery'], function(provide, BEMDOM, $) {
    provide(BEMDOM.decl(this.name, {
        onSetMod: {
            js: {
                inited: function() {
                    this.bindTo(this.elem('item'), 'mouseover', function(e) {
                        this.setMod($(e.target), 'action', 'wow');
                    });
                }
            }
        }
    }));
});

А почему может не работать конструкция var item = $(e.currentTarget); this.toggleMod(item, 'type', 'current', '');

@serhioone стоит убедиться, что this указывает на нужный блок (например, вывести в консоль this.domElem) и что в item попал нужный элемент.