او از معاشرت با شاهان و دولتمردان به شدت دوری می کرد و روزی که شریک من عبدالله نخعی، قاضی حکومت عباسی را دید که از دولت سرای یحیی بن خالد برمکی بیرون آمد، گریه کرد و گفت: پناه می برم به خدا از علمی که سود نرساند. خواجه عبدالله انصاری می گوید: اگر چه قبل از ابوهاشم بزرگانی بودند که در زهد و ورع و معاملات، نیکو و شایسته بودند و در راه توکل و محبت خدا مشتاق، ولی اول مرتبه، به او صوفی گفتند یعنی کسی که زهد و زاهدی دارد. و البته سخن خود او درباب معرفت به خدا و انس با او، حکایت می کند که زهد او، زهدی خشک و عاری از معرفت و محبت به خدا نبوده است. اما در کتب حدیث شیعه، فساد عقیده او عنوان شده است.

روایتی از امام صادق علیه السلام که فرمودند: او جدا فاسد العقیده است و از خود مذهبی ساخته و اسم آنرا تصوف گذاشته و آن را عقیده خبیثه اش قرار داده است. به او عقایدی در «حلول» هم نسبت داده اند که اگر صحیح باشد، متاثر از مسیحیان بوده زیرا به نقل بعضی مورخین، او برای اولین بار به تقلید از مسیحیان و راهبان مسیحی، خانقاهی در "رمله" بنیاد کرد. گرچه "جامی" بنای اولین خانقاه را در سرزمین شام، به فرد دیگری نسبت می دهد. سال وفات او به درستی معلوم نیست ولی برخی در فاصله 150 تا 161 هجری قمری گفته اند و ظاهرا چند سال بعد از وفات "سفیان ثوری" بوده است.