引用:https://developer.android.com/reference/com/google/android/material/button/MaterialButtonToggleGroup

角丸にするShapeColumnToggleButtonIconOnlyとそれ以外の見た目を指定するStyleColumnToggleButtonIconOnlyを両方宣言します。

<style name="ShapeColumnToggleButtonIconOnly" parent="ShapeAppearance.MaterialComponents.SmallComponent">
    <item name="cornerFamily">rounded</item>
    <item name="cornerSize">16dp</item>
</style>

<style name="StyleColumnToggleButtonIconOnly" parent="Widget.MaterialComponents.Button.OutlinedButton">
    <item name="iconPadding">0dp</item>
    <item name="android:insetTop">0dp</item>
    <item name="android:insetBottom">0dp</item>
    <item name="android:paddingLeft">24dp</item>
    <item name="android:paddingRight">24dp</item>
    <item name="android:minWidth">24dp</item>
    <item name="android:minHeight">24dp</item>
</style>

その後ボタンの見た目にそれぞれのstyleを設定します。

<com.google.android.material.button.MaterialButtonToggleGroup
    android:id="@+id/button_toggle_group"
    android:layout_width="wrap_content"
    android:layout_height="wrap_content"
    app:selectionRequired="true"
    app:singleSelection="true">

    <Button
        android:id="@+id/first_button"
        style="@style/StyleColumnToggleButtonIconOnly"
        app:shapeAppearance="@style/ShapeColumnToggleButtonIconOnly"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        app:icon="@drawable/ic_change" /> <!-- 適当なアイコンを指定 -->

    <Button
        android:id="@+id/second_button"
        style="@style/StyleColumnToggleButtonIconOnly"
        app:shapeAppearance="@style/ShapeColumnToggleButtonIconOnly"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        app:icon="@drawable/ic_check" /> <!-- 適当なアイコンを指定 -->

</com.google.android.material.button.MaterialButtonToggleGroup>

ポイントはstyle=”@style/xxxx”とapp:shapeAppearance=”@style/yyyy”で指定している箇所です。styleを一つにまとめてしまったりすると意図した見た目にならないので、必ず別々のstyleを指定するようにしましょう。