وصیت وی بعد از این که به طاعون مبتلا گردید و قولش درباره قلب مؤمن
ابن عساکر از سعیدبن ابی سعید مقبری سروایت نموده، که گفت: هنگامی ابوعبیده بن جراح در اردن - و قبرش هم در همانجاست - به طاعون مبتلا گردید مسلمانانی را که نزدش حاضر بودند فراخواند و گفت: من برایتان وصیتی میکنم، که اگر آن را قبول کنید، همیشه در خیر میباشید: نماز را بر پا دارید، زکات را ادا کنید، ماه رمضان را روزه بگیرید، صدقه بدهید، حج نمایید و عمره بجا آرید، به یک دیگر خیرخواهی نمایید، امیرانتان را نصیحت کنید، خیانتشان ننمایید تا دنیا هلاکتان نسازد، و اگر شخصی هزار سال عمر داده شود، باز هم جز رهسپار شدن به همین حالتم که میبینید، گزیری ندارد، خداوند مرگ را بر بنی آدم مقرر نموده است، و آنان میمیرند، و خردمندترین آنان با طاعتترینشان برای پروردگارش و عمل کنندهترینشان برای روز برگشتش است، والسلام علیکم و رحمة اللَّه. ای معاذبن جبل برای مردم نماز بده. و خودش درگذشت. آن گاه معاذ در میان مردم برخاست و گفت: ای مردم از گناهانتان به خداوند توبه و خالص نمایید، چون بنده هرگاه بعد از توبه از گناهانشان، با خداوند روبهرو گردد، بر خداوند حق میباشد که وی را ببخشد، مگر کسی را که بالایش دَین باشد، چون بنده در گرو دین خود است، و اگر کسی از شما در حالی صبح نمود، که با برادرش حرف نمیزد، باید با وی روبرو گردد، و همراهش مصافحه نماید، و برای مسلمان نمیسزد، که بیشتر از سه روز برادرش را ترک بگوید، چون این گناه بزرگ است. این چنین در منتخب الکنز (۷۴/۵) آمده است.
و ابونعیم در الحلیه (۱۰۲/۱) از ابوعبیده سروایت نموده، که گفت: مثال قلب مومن، چون گنجشک است، و هر روز اینقدر و اینقدر بار دور میخورد.