הנה טוטוריאל מומליץ מאד לתוכנה:
http://www.3dtotal.com/ffa/tutorials/max/joanofarc/joanmenu.asp

בקשר לשאלות:

1). עיגול פינות: יש בגיאומטריה פוליגונלית 2 דרכית "לעגל". האחת, פשוט הגברת הרזולוציה בשיטות מסוימות.

אם ניקח קוביה פשוטה:

לצורך ההדגמה נעלה טיפה את הרזולוציה ללא שינוי:

הדרך הראשונה, היא פשוט להעלות רזולציה בצורה מסוימת. לא משנה אם ע"י סאבדיוויז'ן או ביבל, או ראונדרים למיניהם... העיקר להגיע לתוצאה הסופית:

הדרך השנייה היא ע"י SubPatch\SubSurf\SubDivision Surfaces\וואטאבר... בכל תוכנה זה בא בשם שונה.

2). יש המון הגדרות לרנדר. אין לי עצה אחרת, מלבד ללמוד את הנושא לעומק.
תוסיף AA - Anti Aliasing, לדעתי זה הדבר העיקרי שמפריע לך כרגע...

3). אפקט ריתוך: האמת, ששמעתי על פלאגין למקס שעושה את זה אוטומטית.
בכל אופן, בין אם הוא קיים או לא... אפשר להשתמש במפות באמפ\נורמל מאפס\דיספלייסמנט בטקסטורה כדי ליצור אפקט דומה.