Đáp án:

$B. \dfrac{3a^3}{2}$

Giải thích các bước giải:

Gọi $H$ là hình chiếu của $S$ lên $(ABCD)$

$\Rightarrow AH = HM = \dfrac12AM$

Gọi $N$ là trung điểm $DM$

$\Rightarrow HN$ là đường trung bình của $\triangle ADM$

$\Rightarrow \begin{cases}HN//AD\\HN = \dfrac12AD\end{cases}$

$\Rightarrow HN\perp DC$

Ta có:

$\begin{cases}HN\perp DC\\SH\perp DC\end{cases}$

$\Rightarrow DC\perp (SHN)$

$\Rightarrow DC\perp SH$

Khi đó:

$\begin{cases}(SCD)\cap (ABCD) = CD\\SH\perp CD\\SH\subset (SCD)\\HN\perp CD\\HN\subset (ABCD)\end{cases}$

$\Rightarrow \widehat{((SCD);(ABCD))} = \widehat{SNH} = 60^\circ$

$\Rightarrow SH = HN.\tan60^\circ = HN\sqrt3$

Mặt khác:

$SH\perp (ABCD)$

$\Rightarrow HD$ là hình chiếu của $SD$ lên $(ABCD)$

$\Rightarrow \widehat{(SD;(ABCD))} = \widehat{SDH} = 45^\circ$

$\Rightarrow SH = HD.\tan45^\circ = HD$

Do đó: $HD = HN\sqrt3\qquad (*)$

Đặt $AB = x\quad (x >0)$

$\Rightarrow CD = \dfrac{3a^2\sqrt2}{x}$

$\Rightarrow DM = \dfrac{3a^2\sqrt2}{2x}$

Áp dụng định lý Pythagoras ta được:

$\quad AM^2 = AB^2 + DM^2$

$\Leftrightarrow AM = \sqrt{AB^2 + DM^2} = \sqrt{x^2 + \dfrac{9a^4}{2x^2}}$

$\Rightarrow HD = \dfrac12AM = \dfrac12\sqrt{x^2 + \dfrac{9a^4}{2x^2}}$

Ta lại có: $HN = \dfrac12AB = \dfrac{x}{2}$

Ta được:

$(*) \Leftrightarrow \dfrac12\sqrt{x^2 + \dfrac{9a^4}{2x^2}} = \dfrac{x}{2}\cdot \sqrt3$

$\Rightarrow x^2 + \dfrac{9a^4}{2x^2} = 3x^2$

$\Leftrightarrow x^4 = \dfrac{9a^4}{4}$

$\Rightarrow x^2 = \dfrac{3a^2}{2}$

$\Rightarrow x = \dfrac{a\sqrt6}{2}$

$\Rightarrow SH = \dfrac{x\sqrt3}{2} = \dfrac{3a\sqrt2}{4}$

Vậy $V_{S.ABCD} = \dfrac13S_{ABCD}.SH = \dfrac13\cdot 3a^2\sqrt2\cdot \dfrac{3a\sqrt2}{4} = \dfrac{3a^3}{2}$