Я пробовал. Было немного лучше.
Но все очень зависит от аппаратной части - нужен чувствительный микрофон с АРУ и активным шумоподавлением, у которого можно выставить к тому же порог шумоподавления ниже которого микрофон не будет слышать.
После беседы с гуру распознавания (Николай Шмырев), пришел к выводу что без нормальных аппаратных возможностей с pocketsphinx_continuous (и pocketsphinx, который на java) будут всегда ложняки. Поэтому надо осваивать caldi. Присоединяйтесь к группе CMUSphinx Russia в Telegram.
Для меня легче сделать аппаратную часть...правда времени пока на это совсем нет.