L’opera più grande realizzata dal cardinale Bertrando a Bologna fu il castello di Porta Galliera, che avrebbe dovuto ospitare Giovanni XXII, la Camera apostolica e gli uffici dell’amministrazione. La fortificazione fu costruita in circa tre anni di lavoro (1330-1332) e, non appena resa agibile, divenne subito la nuova residenza del cardinale, dal momento che la città era ormai completamente ostile.
Il castello dovette realmente apparire come una delle più grandi e sontuose residenze fortificate del periodo. Al suo interno vi erano un grande palazzo e una chiesa, la “cappella magna”, che il cardinale fece decorare a Giotto e allo scultore Giovanni di Balduccio.
Tuttavia la possente fortificazione non rimase in piedi a lungo. I Bolognesi, stanchi della subordinazione allo stato papale, si ribellarono al legato il 17 marzo del 1334 e il 28 marzo rasero quasi completamente al suolo il fortilizio saccheggiandolo. Solo allora il nuovo papa, Benedetto XII, visti il fallimento del progetto bolognese e l’impossibilità di tornare in Italia, intraprese i lavori per la costruzione del grande Palazzo dei papi ad Avignone (1335).