ملکه مادر در خاطرات خود می نویسد: «خدا لعنت کند اسدالله علم را که بساط شیطنت برای محمدرضا درست می کرد و باعث تحلیل رفتن قوه پسرم می شد». فریده دیبا مادرزن محمدرضا خیلی مؤدبانه می گوید: «علم از مشاوران جنسی محمدرضا بود.»
علم نیز در خاطراتش به اطلاع فریده دیبا اشاره می کند و داستانی را نقل می کند که فریده از آن مطلع می شود، ولی علم به وی اخطار می کند اگر می خواهد زندگی دخترش به خطر نیفتد، صدایش را درنیاورد. فردوست دوست نزدیک شاه هم تأیید می کند که «علم محرم محمدرضا بود و سال ها به عنوان وزیر دربار کنترل کامل دربار محمدرضا را به دست داشت. او هرگاه محمدرضا می خواست برای او از خارج و یا داخل زن پیدا می کرد و با هزینه های گزاف ترتیب مجالس هم خوابگی محمدرضا را می داد.» به همین جهت، کسانی همچون علی شهبازی در خاطرات خود سعی دارند فساد شاه را عادی جلوه بدهند و همه گناهانش را به گردن علم و تشکیلات فسادی که برای شاه درست کرده بود بیندازند.
علم حتی برای شاه خانه ای را در بیرون از کاخ تهیه کرده بود و شاه را برای فساد به آنجا می برد. یک روز مادرزن شاه به طور اتفاقی آن ها را هنگام بیرون آمدن از آن خانه دید. ظاهراً همین موضوع بود که علم به فریده اخطار کرد زندگی دخترش را به خطر نیندازد.
علم در جای جای خاطراتش سخن از ملاقات با معشوقه هایش می راند. با این که با ده ها فاسقه ارتباط داشت، چشمش همیشه به دنبال نوامیس مردم بود. تا چشمش به یک زن زیبا می افتاد عنان از دست می داد. شبی سفارت دانمارک او را به یک میهمانی دعوت کرد. او «زیبارویی را که ظاهراً دوست سفیر بود» مشاهده کرد، بی اعتنا به میزبان و میهمانان تا ساعت یک نیمه شب با او مشغول صحبت شد. بیچاره میهمانان به او احترام گذاشتند و آنقدر نشسته بودند تا صحبتش تمام شود و بعد با او خداحافظی کنند. علم چنان به بیماری جنسی مبتلا شده بود که حتی در مناسبات بین المللی آن را دخالت می داد. رئیس جمهور فیلیپین از شاه درخواست نفت داشت، همسرش را به ملاقات شاه فرستاد، شاه موضوع را با علم در میان گذاشت، علم پاسخ داد: «خانم مارکوس بسیار زیباست و بنابراین تقاضایش در خور توجه است. شاه پاسخ داد بله، ولی دارد پیر می شود.»
او همیشه همسرش را به چشم یک مزاحم می دید به این جهت سعی می کرد در مسافرت ها بدون او سفر کند و به جای آن با یکی از معشوقه هایش به مسافرت برود. در سفری که با خانواده اش به شمار رفت، آن سفر را نوعی محرومیت تلقی می کرد و به شاه گفت: از این که در کنار دریا «دختران زیبا احاطه ام کرده بودند، ولی با حضور همسر و دخترانم کاری نمی توانستم بکنم» احساس محرومیت می کردم. جالب این است که بدانیم علم در آن زمان پنجاه سالگی را پشت سر گذاشته بود.
نکته ای که بیش از هر چیز تأسف بار است این است که علم دربار شاهنشاهی ایران را به صورت فاحشه خانه ای بین المللی درآورده بود. هرگاه سران فاسد رژیم های دیگر هوس عیاشی می کردند به دربار ایران می آمدند. سلطان قابوس برای عیاشی به ایران آمد. شاه برای ضیافت رسمی وی برنامه ریزی می کرد، علم به او تذکر داد: «او بدون همسرش به اینجا آمده فقط بدین منظور که کمی به خودش برسد.» بعد از دو روز شاه از احوال سلطان پرسید. علم گزارش داد: «هر دو شب با تعداد چهار تا پنج خانم بیرون اقامتگاه ملاقات کرده بود. نمی توانم شهادت دهم بعداً چه اتفاقی افتاده بود، اما به هر صورت سلطان راضی به نظر می رسید.»