Como re-renderizar um costume de gancho após a primeira renderização

você não pode usar useEffect em seu gancho para essa finalidade, tente isto :

gancho :

function useIsUserSubscribed() {
  const currentUserId = useSelector((state) => state.auth.user?.id);


  const checkUser = useCallback(async (publisherId, setUserIsSubscribed) => {
    if (!currentUserId || !publisherId) return;
      try {
        const res = await checkSubscription(publisherId);
        setUserIsSubscribed(true);
      } catch (err) {
        setUserIsSubscribed(false);
      }
    
  }, [currentUserId]);

  return {checkUser};
}

export default useIsUserSubscribed;

componente :

const SubscribeUnsubscribeBtn = ({profilePageUserId}) => {
    const [userIsSubscribed,setUserIsSubscribed]=useState(false);
    const { checkUser } = useIsUserSubscribed();

     useEffect(()=>{
        checkUser(profilePageUserId,setUserIsSubscribed)
     },[checkUser,profilePageUserId]);
  
  const onClick = async () => {
    if (userIsSubscribed) {
       // this is an API Call to the backend
      await removeSubscription(profilePageUserId);

    } else {
      // this is an API Call to the backend
      await addSubscription(profilePageUserId);
    }
    // HOW CAN I RERENDER THE HOOK HERE!!!!?
    checkUser(profilePageUserId,setUserIsSubscribed)
  }

  return (
    <button type="button" className="sub-edit-unsub-btn bsc-button" onClick={onClick}>
          {userIsSubscribed ? 'Subscribed' : 'Unsubscribed'}
    </button>
  );
} 

você também pode adicionar algumas estado de carregamento no seu gancho e devolvê-los também, então você pode verificar se o processo já está feito ou não

Adicionar um dependece no useIsUserSubscribed do useEffect.

gancho :

function useIsUserSubscribed(publisherId) {
    const [userIsSubscribed, setUserIsSubscribed] = useState(null);
    const currentUserId = useSelector((state) => state.auth.user?.id);
    // add refresh dependece
    const refresh = useSelector((state) => state.auth.refresh);

    useEffect(() => {
        ...
    }, [publisherId, currentUserId, refresh]);
    ...
}

componente :

const onClick = async () => {
    ...
    // HOW CAN I RERENDER THE HOOK HERE!!!!?
    // when click, you can dispatch a refresh flag.
    dispatch(refreshSubState([]))
}

Expor forceUpdate metheod.

gancho :

function useIsUserSubscribed(publisherId) {
    const [update, setUpdate] = useState({});
    const forceUpdate = () => {
        setUpdate({});
    }  

    return {userIsSubscribed, forceUpdate};
}

componente :

const {userIsSubscribed, forceUpdate} = useIsUserSubscribed(profilePageUserId);

const onClick = async () => {
    ...
    forceUpdate();
}

Aqui é outra solução pelo usuário @bitspook

SubscribeUnsubscribeBtn tem uma dependência no useIsUserSubscribed, mas useIsUserSubscribed não depende de nada do SubscribeUnsubscribeBtn. Em vez disso, useIsUserSubscribed é a manutenção de um estado local. Você tem duas opções aqui:

1. Mova o estado, em relação whetehr usuário está inscrito ou não um nível acima, desde que você está usando Redux, talvez em Redux.
2. Comunicar à useIsUserSubscribed o que você precisa para mudar seu estado interno.

Para 1)

  const [userIsSubscribed, setUserIsSubscribed] = useState(null);

mover este estado Redux store e usá-lo com useSelector.

Para 2), retornar uma matriz de valor e de retorno de chamada do gancho, em vez de apenas o valor. Ele irá permitir que você se comunique a partir de componentes de volta no gancho.

No useIsUserSubscribed,

  return [userIsSubscribed, setUserIsSubscribed];

Em seguida, em onClick, você pode chamar setUserIsSubscribed(false), mudando o gancho interno do estado, e re-renderizar o componente.